AI・DX COLUMN 34
AIはもっともらしい間違いをする ハルシネーションとの付き合い方と確認の手順

生成AIに質問すると、自然な文章ですぐに答えが返ってきます。とても便利ですが、その答えの中に、事実と違う内容がもっともらしく混ざっていることがあります。存在しない法律の条文や、実在しない会社名・数字が、自信ありげに書かれていることもあります。こうした現象は「ハルシネーション(幻覚)」と呼ばれています。
ハルシネーションは、使い方に気をつければ過度に恐れる必要はありません。この記事では、なぜ起きるのかという仕組みと、仕事で使うときの確認の手順、AIに任せてよい仕事と任せてはいけない仕事の考え方をご紹介します。
なぜもっともらしい間違いが起きるのか
生成AIは、大量の文章から言葉のつながり方を学び、「次に続きそうな言葉」を予測して文章を組み立てています。データベースから正しい答えを探して返しているわけではありません。そのため、知らないことや情報が少ないことを聞かれても「わかりません」と答えるとは限らず、それらしい文章を作ってしまうことがあります。
特に間違いが起きやすいのは、次のような場面です。
- 固有名詞、数字、日付、法律の条文番号など、細かい事実を答えるとき
- 最近の出来事や、改正されたばかりの制度について答えるとき
- 地域の情報や中小企業の情報など、ネット上の情報が少ないテーマ
- 「出典を示して」と頼んだときの、書籍名やURL
海外では、AIが作り出した実在しない判例を、弁護士が気づかずに裁判所へ提出してしまった例も報じられています。文章が自然で読みやすいほど、間違いに気づきにくくなる点に注意が必要です。
- 細かい事実固有名詞、数字、日付、法律の条文番号などを答えるとき
- 最近の出来事最近の出来事や、改正されたばかりの制度について答えるとき
- 情報が少ないテーマ地域の情報や中小企業の情報など、ネット上の情報が少ないとき
- 出典の提示「出典を示して」と頼んだときの、書籍名やURL
仕事で使うときの確認の手順
AIの回答を仕事に使うときは、次の順番で確認する習慣をつけると安心です。
- 事実と意見を分ける:回答のうち、数字・日付・名称・制度の内容など「事実」に当たる部分に印をつけます。
- 一次情報で確かめる:省庁や自治体の公式サイト、法令の原文、取引先の公式資料など、元の情報にあたって確認します。AIが示したURLや出典は、実在するかどうかから確かめます。
- 計算は自分でも検算する:AIは計算や集計を間違えることがあります。金額や数量は、表計算ソフトなどで検算しましょう。
- 最終判断は人が行う:外部に出す文書や重要な判断は、内容を理解した担当者が責任を持って確認してから使います。
また、質問の仕方でも間違いを減らせます。「わからない場合はわからないと答えてください」「根拠となる資料の名前も示してください」と添えたり、手元の資料を渡して「この資料の範囲で答えてください」と頼んだりすると、根拠のない回答が出にくくなります。
- 事実と意見を分ける数字・日付・名称・制度の内容など事実に当たる部分に印をつける
- 一次情報で確かめる公式サイトや法令の原文で確認。示されたURLは実在するかから
- 計算を検算する金額や数量は表計算ソフトなどで自分でも検算する
- 最終判断は人が社外に出す文書や重要な判断は、担当者が責任を持って確認
任せてよい仕事・任せてはいけない仕事
ハルシネーションの性質を踏まえると、AIに向いている仕事と、そのまま任せてはいけない仕事は次のように整理できます。
| 区分 | 仕事の例 | ポイント |
|---|---|---|
| 任せやすい | 文章の下書き、言い回しの改善、要約、アイデア出し、表現の言い換え | 人が読んで正誤を判断しやすく、間違えても修正しやすい |
| 確認すれば使える | 調べものの入口、資料の構成案、手順書のたたき台 | 事実部分は必ず一次情報で裏づけをとる |
| 任せてはいけない | 契約・法律・税務の最終判断、金額の確定、顧客への回答の自動送信 | 間違いが損害や信用の低下に直結するため、人の判断が欠かせない |
目安は「間違っていたときに、誰がどう気づけるか」です。確認する人がいて、間違いを見つけられる仕事であれば、AIは心強い助手になります。
社内で使うときのひと工夫
社員がAIを使う場合は、「AIの回答をそのまま社外に出さない」「数字と固有名詞は必ず確認する」といった最低限の約束を共有しておくと安心です。AIの回答を使った資料には、確認した人の名前を残しておく方法もあります。また、AIが間違えた例を社内で共有すると、どのような場面で注意すべきかが具体的にわかり、確認の精度が上がっていきます。間違いをとがめるのではなく、気づいたことを共有しやすい雰囲気を作ることが大切です。
当事務所でも、複数のAIを用途に応じて使い分けながら、内容の確認は人が行う体制で業務に活用しています。AIの上手な使い方についてのご相談にも対応しています。
任せる範囲の目安は「間違っていたときに、誰がどう気づけるか」です。確認する人がいて間違いを見つけられる仕事なら、AIは心強い助手になります。
まとめ
- 生成AIは「それらしい言葉」を予測するため、もっともらしい間違いをすることがある
- 数字・日付・固有名詞・制度の内容は、公式サイトなどの一次情報で確認する
- 下書きや要約は任せやすいが、法律・税務の最終判断や金額の確定は人が行う
- 「間違いに誰がどう気づけるか」を基準に、任せる範囲を決める
