AIはときに、もっともらしい嘘をつく場合があります。文書を読んでいると、事実との違いがわからずに鵜呑みにしてしますことがあります。
AIは、事実を検索して表示させるのではなく、確率で、その言葉の次に何が適当かを探って表示させます。
そのため、
することで、現実と異なる内容をなってしまうことがあります。
例えは、確率で考えた場合、試験の際に選択肢が4つの問題が出されているとします。もしあなたがその答えが全く分からない場合、選ばずに提出しますか?多分多くの方、間違っていても何かひとつを選び解答すると思います。つまり「わからない」という解答ではなく、確率が1/4になる選択となるのです。AIも確率で考えた場合、推測で回答する場合があるのです。
■学習データの限界(不足・偏り)
AIは大量の文章データを学習しますが、その中に
が含まれていることがあります。
その影響が回答に反映され、誤情報の生成(ハルシネーション)につながります。
■質問の曖昧さ・不足情報
入力があいまいだと、AIは補完して答えようとします。
例:「○○の最新仕様を教えて」と聞かれても、
が指定されていない場合、AIは推論で埋めてしまい、誤りが生まれやすくなります。
■一般的なAIは
最新動向や固有名詞の正確性が必要な質問に対して、自らの推測で補おうとするため誤りが出ます。
■長い文脈処理での“ゆらぎ”
会話が長くなると、文脈認識にズレが生じるケースがあります。
その結果:
が出てしまうことがあります。
ハルシネーションは、“欠陥”というより
「確率生成モデルの本質的特性」として理解するのが正確です。
企業で活用する場合は、
などの仕組み側の制御で、誤答を極力減らせます。