OpenAI 2025年9月5日の公式発表解説: なぜ言語モデルは幻覚を起こすのか

OpenAI は 2025年9月5日、言語モデルがなぜ hallucinate するのかを説明する研究を公開しました。評価方法の改善が、AIの信頼性、正直さ、安全性を高める可能性が示されています。

要点

• OpenAI が言語モデルの幻覚の原因と評価改善について説明
• モデルが不確実なときに推測してしまう問題は、評価設計とも関係する
• 信頼性を高めるには、正答率だけでなく「分からない」と言える能力が重要
• AI評価、プロダクト、リスク管理、ナレッジ業務で重要な発表

今回のブログ記事で語られていること

この研究は、言語モデルの幻覚を単なるモデルの欠陥としてではなく、評価方法や訓練目標とも関係する問題として扱います。モデルは、利用者から質問されると、たとえ確実な根拠がなくてももっともらしい回答を生成しがちです。これは、テストで空欄にするより推測した方が得点しやすいような評価設計と似ています。OpenAIは、評価の改善によって、モデルが不確実な場面で正直に不確実性を示すよう促せる可能性を説明しています。

企業利用者にとって、幻覚はもっとも重要な実務リスクの一つです。社内ナレッジ検索、法務・税務・医療・金融、顧客対応、コード生成、意思決定支援では、もっともらしい誤回答が重大な問題につながります。モデルが高性能になっても、根拠のない断定をする可能性は残ります。そのため、AIシステムには、引用、根拠表示、検索連携、信頼度、回答拒否、人間確認、ログ分析が必要です。

この発表は、AI評価の指標を見直すきっかけになります。単に多くの質問に答えられるモデルではなく、分からないときに分からないと言えるモデル、根拠を示せるモデル、誤りを検出しやすいシステムを評価すべきです。業務導入では、自社の重要質問セットを作り、正答率だけでなく、過剰な自信、根拠の不一致、引用の誤りを測る必要があります。

関係するチーム

• AI評価、MLプラットフォーム、プロダクト、ナレッジ管理
• 法務、医療、金融、税務、顧客対応など高リスク業務
• リスク管理、セキュリティ、コンプライアンス

実務で確認したいこと

1. 自社評価で幻覚、過剰な自信、引用誤りを測定する
2. 重要業務では検索連携、根拠表示、人間確認を組み込む
3. モデルに「分からない」と言わせる評価とプロンプト設計を行う

結局、今回のブログ記事をどう読むべきか

この研究は、幻覚対策がモデル改善だけでなく評価設計の問題でもあることを示します。企業は正答率だけでなく、正直さと根拠確認を評価すべきです。