AIのハルシネーション率を比較するときは、同じ問題で測った数値を選ぶ必要があります。文書要約の評価では、モデルごとの値に差があります。ただし、その数字だけで検索を使うチャットや日本語文書の正確さまでは決まりません。

📑目次
  1. ハルシネーション率を同じ要約評価で比較
  2. このハルシネーション率が示す範囲
  3. 知識問題とRAGでは何を比べる?
  4. 実際の業務ではどう検証する?
  5. よくある質問
  6. 筆者の所感
  7. 次に試すこと

ハルシネーション率を同じ要約評価で比較

次の表は、Vectaraの2026年10月22日更新版から、複数の提供元とモデル世代を選んだ抜粋です。全モデルのランキングでも最新モデルの網羅でもありません。ハルシネーション率は、除外後の共通文書に対する要約のうち、元文書と整合しないと自動判定された要約の割合です。回答率は、対象文書のうち要約を返した文書の割合です。

ハルシネーション率 比較:文書要約の9モデルは6.5〜12.1%、HHEM 2.3による自動判定
文書要約の自動判定(HHEM 2.3)。選択した9モデルの値で、回答率は別指標です。 出典:Vectara(2026年10月22日更新)
評価対象のモデル識別子 ハルシネーション率 回答率 要約の平均語数
openai/gpt-6-sol 6.5% 100.0% 71.4
openai/gpt-5.4-2026-03-05 7.0% 99.9% 81.7
google/gemini-2.5-pro 7.0% 99.1% 106.4
deepseek-ai/DeepSeek-V4-Pro 8.6% 97.2% 153.8
openai/gpt-6-astra 8.7% 100.0% 148.5
anthropic/claude-opus-5-5 9.9% 99.7% 192.1
google/gemini-3.1-pro-preview 10.4% 99.4% 107.7
anthropic/claude-opus-4-7 12.0% 98.0% 149.1
google/gemini-4-argon 12.1% 99.1% 178.2

出典:Vectara Hallucination Leaderboard 固定版、2026年11月14日確認。

例えばGPT-6 SolとClaude Opus 5.5では、率に加えて要約の長さも異なります。短い要約は情報を落としている可能性もあるため、必要な情報を含むかは別に確かめてください。この表は、長い要約が誤りの原因だと証明するものではありません。


このハルシネーション率が示す範囲

Vectaraは7,700件超の非公開記事を要約させ、原文にない内容が含まれるかを商用の判定モデルHHEM 2.3で調べています。人間による全件判定ではなく、自動判定にも誤りがありえます。原則としてtemperatureは0ですが、設定できないモデルには例外があります。

Vectaraの説明では、拒否と極端に短い回答を除き、全モデルが要約を返した文書を最終評価に使います。最終的な共通件数は明示されていません。回答率は別に掲載され、対象モデルごとに異なります。指示文と判定は英語で、要約の網羅性や文章の良さは測っていません。

モデルが不確かなときに回答を控えるかは、要約の忠実性とは別の問題です。LLMが「わからない」と言えない理由と推測回答の検証方法では、その点を掘り下げています。

同じ手順の比較でも、回答長、モデルの設定、利用経路が完全に同一とは限りません。検索の有無、引用資料、プロンプト、日本語入力などが変わる実サービスの誤り率として、この表を使うことはできません。


知識問題とRAGでは何を比べる?

評価 調べること 数値の読み方
Vectara 渡された文書の要約が原文に忠実か 要約の自動判定。検索精度や網羅性は別
AA-Omniscience v1.1 幅広い知識問題への正答と誤答・棄権 ハルシネーション率の分母は正答以外
FaithJudge 資料付きの要約・質問応答などで根拠にない記述があるか タスクごとに判定。古い結果は現行モデル比較ではない

出典:Vectara、Artificial Analysis、FaithJudge。2026年11月14日確認。

AA-Omniscience v1.1は6分野の3,000問を使います。AAのハルシネーション率は「誤答÷(誤答+部分回答+未回答)」です。正答率は全問題に対する正答の割合です。未回答が増えても前者は下がりうるため、両方と回答の有用性を一緒に見ます。11月14日の画面ではGemini 4 Carbon(Medium)とGemini 4 Argon(High)がそれぞれ4%と表示されます。表示は丸め値であり、Vectaraの率と直接比較できません。

FaithJudgeの2025年の表では、資料付き質問応答139件のうちGemini 2.5 Proは2件(1.44%)、GPT-4.1は6件(4.32%)が根拠にない記述ありと判定されています。人手注釈の例を与えたAI判定で、139件は質問応答の件数です。検索結果自体が正しいかや、現在のモデルの優劣は分かりません。


実際の業務ではどう検証する?

  1. 対象を決める。 要約、資料に基づく質問応答、資料なしの知識質問を分けます。社内で許可された文書だけを使い、個人情報や機密情報を評価環境に送ってよいか確認します。
  2. 同じ問題と条件で試す。 文書、質問、プロンプト、検索の有無、モデルID、設定、日付を記録します。検索を使うなら取得した文書も保存し、モデルの回答と検索の失敗を分けます。
  3. 回答を分類する。 根拠にない記述、必要な情報の欠落、正答、部分回答、適切な棄権を別々に数えます。引用先が実在し、その記述を支えるかも確かめます。
  4. 人が重要な回答を確認する。 高リスクの回答は自動判定だけに任せず、原文と照合します。少数の試行の差を確定的な順位とせず、費用や速度も含めて候補を絞ります。

よくある質問

一番低い率のモデルが最も正確ですか?

その評価の対象と条件に限った比較です。必要な情報を省く要約や棄権が多いモデルは、率が低くても用途に合わない場合があります。


SimpleQA Verifiedの正答率を100%から引けば誤答率になりますか?

なりません。Epoch AIの説明では、正答以外に誤答と未回答が含まれます。同機関は2026年8月から推測を促す指示も加えており、条件の異なる古い値との比較にも注意が必要です。


出典リンクがあれば回答を信頼できますか?

リンクがあるだけでは根拠になりません。リンク先の内容が回答の該当箇所を支えているか、資料自体が信頼できるかを確認してください。


筆者の所感

筆者は、どんなに高度なAIでもハルシネーションが1割近く発生すると考えており、注意が必要だと感じています。この所感は、あらゆる用途の発生率を実測したものではありません。


次に試すこと

表から候補を選んだら、実際に使う資料と質問で同条件の小さな比較を行ってください。誤った断定だけでなく、必要な情報の欠落と適切な棄権を分けて記録すると、業務に合う選択がしやすくなります。

関連記事:AIモデルの総合比較・Claude Opus 4.7の機能と移行時の注意点。

著者

IT業界20年以上の実務経験を持ち、日本国内有数のPVを誇る大規模Webサービスで事業部長・CTOを複数社で歴任。Windows/iOS/Android/Webと技術の変遷を経験し、現在はAIネイティブへの変革に注力。DevGENTでは、AIコードエディタ・自動化ツール・LLMの実践的な使い方を日英西3言語で発信中。

DevGENT について →

コメントを残す

Trending