中小企業のIT化を「ワンストップ」支援

AIはなぜ嘘をつくか「ハルシネ―ション」

AIはときに、もっともらしい嘘をつく場合があります。文書を読んでいると、事実との違いがわからずに鵜呑みにしてしますことがあります。
AIは、事実を検索して表示させるのではなく、確率で、その言葉の次に何が適当かを探って表示させます。

そのため、

  • データに存在しない情報を推測したり
  • あいまいな質問に対し、もっともらしく埋め合わせをしたり

することで、現実と異なる内容をなってしまうことがあります。

例えは、確率で考えた場合、試験の際に選択肢が4つの問題が出されているとします。もしあなたがその答えが全く分からない場合、選ばずに提出しますか?多分多くの方、間違っていても何かひとつを選び解答すると思います。つまり「わからない」という解答ではなく、確率が1/4になる選択となるのです。AIも確率で考えた場合、推測で回答する場合があるのです。

■学習データの限界(不足・偏り)

AIは大量の文章データを学習しますが、その中に

  • 古い情報
  • 誤った情報
  • 偏った視点

が含まれていることがあります。

その影響が回答に反映され、誤情報の生成(ハルシネーション)につながります。

■質問の曖昧さ・不足情報

入力があいまいだと、AIは補完して答えようとします。

例:「○○の最新仕様を教えて」と聞かれても、

  • どの型番か
  • どの年度のモデルか

が指定されていない場合、AIは推論で埋めてしまい、誤りが生まれやすくなります。

■一般的なAIは

  • リアルタイム検索
  • 公式データベース参照 を自動で行っていません。

最新動向や固有名詞の正確性が必要な質問に対して、自らの推測で補おうとするため誤りが出ます。

■長い文脈処理での“ゆらぎ”

会話が長くなると、文脈認識にズレが生じるケースがあります。
その結果:

  • 前の前提と矛盾した答え
  • 部分的に破綻した論理

が出てしまうことがあります。

■ ビジネス視点でのまとめ

ハルシネーションは、“欠陥”というより
「確率生成モデルの本質的特性」として理解するのが正確です。

企業で活用する場合は、

  • 限定された領域(ドメイン)に特化した学習
  • 社内データベースと連携(RAGなど)して回答を検証
  • 専門知識が必要な場面は人間が必ず最終チェック

などの仕組み側の制御で、誤答を極力減らせます。