生成AIが利用者の問いかけに対し、あたかも真実であるかのように、的外れな情報や事実とは異なる不正確な情報を生成し回答する現象のこと。ハルシネーション（Hallucination）は幻覚、妄想の意味があり、AIが存在しない幻覚をもとに回答しているようにみえることが語源となっている。

ハルシネーションを引き起こす原因は、大きくAIの学習データに問題がある場合と、学習過程と回答の生成過程に問題がある場合に分けられる。生成AIは学習に利用したデータ中の情報間の関係やパターンを見つけ、それをもとに学習を繰り返すことで回答を生成している。しかし、土台となる学習データに現状に即さない古い情報が混在している、誤りが含まれている、過不足のない範囲の情報を網羅せず偏りがあるなどが原因となり、そこから生成される内容にも問題が生じる。また、学習データ間の関係やパターンを見つける、回答テキストを生成するなどの過程で、AIは正誤や人間から見た問題点を認識していないためファクトチェックが行われずハルシネーションが発生する。

ハルシネーションが放置されると、誤情報拡散による名誉棄損、不正確な情報による業務への影響、など多くの問題が発生する。そのためハルシネーションを減少させるために様々な方法が研究されているが、代表的なものにRAG（Retrieval-Augmented Generation：検索拡張生成）がある。RAGは関連する情報を外部から検索し、回答テキストを生成する言語モデルに組み込む機能で、AIの学習データ内の情報だけでなく外部の広範囲のデータや情報を利用することで正確さを向上させるものである。