AIに質問したら、すらすらと自信たっぷりの答えが返ってきた。でも、あとで調べてみたら細かいところが違っていた。仕事の資料に使う前に気づけたからよかったものの、そのまま出していたら…と、ヒヤッとした経験はありませんか。
AIがもっともらしい嘘を作ってしまう現象を、ハルシネーションと呼びます。なぜそれが起きるのかはなぜAIは嘘をつくのかで整理しました。この記事は、その先の「では、目の前の答えが怪しいかどうかを、どう見抜いて確かめるか」です。答えを受け取ったあとの、事後のチェックに絞ってお話しします。
まず知っておく：AIは、間違っていても自信満々に見える
厄介なのは、AIが間違っていても、正しいときと同じように堂々と答えられる点です。人間なら自信のないことは口ごもりますが、AIは「分かりません」と言うより、それらしい答えを続けてしまう傾向があります。だから、答えの見た目の自信は、正しさの目印になりません。
見た目に流されず、中身を見る。ここが出発点です。
確認すべきポイント：この3つは、正しいか必ず裏を取る
すべてを疑っていてはAIを使う意味がなくなります。そこで、答えの中でも特に「正しいか確かめるべき要素」を絞っておきます。次の3つは、それ自体はむしろ役に立つ情報です。だからこそ、鵜呑みにせず、合っているかを必ず確認します。
- 具体的な数字・日付・固有名詞。 「2019年3月に発表され、シェアは37.2%」のように精密な情報は、資料として役立つ一方で、AIがそれっぽく見せるために作ってしまうこともあります。具体的だからこそ、そのまま使う前に数値の裏を取ります。
- 出典・書名・製品名・機能名。 出典や書名が示されるのはありがたいことですが、存在しない論文や本、ありもしない機能を、実在するかのように挙げることもあります。名前が出たら、それが実在し、内容も合っているかを確かめます。
- 自社のことや最新のことに、すらすら答える。 Web検索や社内資料を使わせていないのに、自社固有の話やごく最近の出来事に迷いなく答えたときは、当てずっぽうが混じりやすい場面です。ここは特に裏を取ります。
確かめ方：自分で当たる、そしてAIにも裏取りを手伝わせる
確かめるべき点が見つかったら、次は確認です。基本は自分で一次情報に当たることですが、AIを使う人なら、AI自身に裏取りを手伝わせる手が効きます。
まずは、自分で当たる基本の3つ。
- 一次情報にあたる。 公式サイト、公式ドキュメント、法律なら条文そのもの、統計なら発表元の資料。誰かがまとめた記事ではなく、大もとを見にいきます。
- 複数のソースで突き合わせる。 一次情報が見つけにくいときは、立場の違う複数の情報源で同じ内容が確認できるかを見ます。ひとつだけで納得しないのがコツです。
- 自分の知る範囲で検算する。 計算なら概算で桁を確かめる、手順なら一部を自分で試す。一点でも自分の目で裏が取れると、安心感が変わります。
そのうえで、AIを「裏取りの道具」としても使います。ここが、そのまま信じるのとの分かれ目です。
- 出典・一次情報を添えさせる。 最初から「出典や一次情報のURLを添えて答えて」と指示しておくと、確認が楽になります。出せない、リンクが実在しないときは、その答え自体を疑う手がかりです。
- 一次情報を探して持ってこさせる。 Web検索ができるAIなら、「この件の公式・一次情報を探して、該当箇所を引用し、URL付きで示して」と頼みます。記憶で答えさせるのではなく、根拠ごと出させるのがねらいです。
- 信頼できるリンクを自分で渡して、そこから答えさせる。 すでに知っている公式ドキュメントや条文のURLを渡し、「この資料だけを根拠に、該当箇所を引用して答えて」と指示します。AIの曖昧な記憶ではなく、こちらが選んだ一次情報に沿わせる。手元で簡易的にRAGをやるイメージです。
ただし、注意が一つ。AIが持ってきたURLや引用そのものが作り物のこともあります。示されたリンクは開いて実在と中身を確かめる、引用は元資料に本当にその記述があるかを見る。最後の一歩は人が踏む、これは変わりません。
聞き方の側で嘘を出にくくする手もあります。それはハルシネーションを減らす聞き方で整理しました。そして、渡した資料に沿って答えさせる発想を仕組みにしたものがRAGです。業務での精度を一段上げたいときはこちらへ。
今日やれる：3ステップのファクトチェック手順
いきなり全部は大変なので、大事な場面だけ次の3ステップを回してみてください。
- リスクを見積もる。 その答えをそのまま使ったら、間違っていたときにどれだけ困るかを考えます。人に見せる資料、数字、固有名詞、お金や契約に関わる話は、迷わず確認へ。
- 確認ポイントを見つける。 上の3つ(具体的な数字・日付/出典・書名・機能名/自社や最新の話)が答えに含まれていないかを見ます。
- 一次情報で、まず1点裏を取る。 全部でなくてかまいません。いちばん効いている数字や固有名詞を1つ選び、公式の情報で確かめます。ここで崩れたら、他も疑ってやり直します。契約や法律、大きなお金に関わる内容では、1点だけで済ませず、判断に使う情報全体を確認します。
この習慣がつくと、AIの答えを「たたき台」として安心して速く使えるようになります。疑いすぎて手が止まることも、盲信して事故ることも、どちらも避けられます。
次の一歩
- AIは間違っていても自信満々に見える。見た目の自信を正しさの目印にしない。
- 特に裏を取るべきは「具体的な数字・日付」「出典・書名・機能名」「自社や最新の話」。いずれも役立つ情報だからこそ、鵜呑みにせず正しいか確認する。
- 確かめ方は、自分で一次情報に当たるほか、AIに出典を添えさせる・一次情報を探して持ってこさせる・信頼できるリンクを渡してそこから答えさせる。持ってきたリンクは人が開いて確認する。
- 大事な場面では「リスクを見積もる→サインを探す→一次情報で1点裏を取る」の3ステップを回す。
確かめる力は、AIを使う人ほど効いてきます。とはいえ、何をどの順で身につけるかは一人だと迷いがちです。AIとの付き合い方も、あなたの目標から逆算した学ぶ順番の一部として、1対1で一緒に整理できます。
