ハルシネーション(幻覚)

言語モデルは事実データベースを確認しているのではなく、統計的にそれらしいものを予測してテキストを生成しています。そのため、流暢で自信ありげな文章であっても、それが捏造かどうかは外見からは区別がつきません。ハルシネーションには、存在しない引用から誤った日付、完全に架空の出来事や人物まで、さまざまな形があります。

RAGやツール利用(モデルが推測する代わりに検索エンジンや電卓を直接呼び出す方式)といった手法はハルシネーションの発生率を下げますが、これまでに公開されたどのモデルも完全にはなくせていません。AIの出力を一次資料と突き合わせて確認する作業が依然として重要な理由です。