WHY AI MAKES THINGS UP
AIは、自信満々に間違える
AIは真実のデータベースではなく、「もっともらしい続き」を確率で選ぶ機械です。 だから、知らないことも堂々と埋めてしまう——これがハルシネーション(幻覚)。 なぜ起きるのか、自信をどう測り、正しさとどうズレ、どう見分けて減らすかを、 実際に計算しながら5ステップで解き明かします。
はじめる ↓もっともらしさを、選ぶ機械A PLAUSIBILITY MACHINE
AIは「知っている/知らない」で動いていません。 どんな入力にも次の一語の確率を計算し、もっともらしい続きを並べるだけ。 だから「分からない」という選択肢が、そもそも出にくい。 支えのある問いも、支えのない問いも、同じ機械が同じように埋めます。見比べてください。
NEXT-TOKEN — 支えのある問い / 支えのない問い
自信の正体は、確率のばらつきPROBABILITY & ENTROPY
モデルの「自信」は数値で測れます。選んだ語の確率が高いほど自信満々。 そして分布全体の散らばりを表すのがエントロピー—— 尖った分布(低エントロピー)は迷いなし、平らな分布(高エントロピー)は迷い。 ただし要注意: 自信満々でも間違っていることがあります。
ENTROPY METER — 分布から自信を実際に測る(実計算)
STEP 01 の2例に、ここで 「自信満々の誤り」（一見確からしいのに間違い）を新たに加えて見比べます。
自信と正しさは、ずれているCALIBRATION
理想は「90%の自信で答えたことは、90%当たる」。これをキャリブレーションと呼びます。 でも生のモデルはたいてい自信過剰——90%の自信でも実際は70%しか当たらない。 自信の帯ごとに実際の正解率を並べた信頼性ダイアグラムで、ズレを実際に測ります。
RELIABILITY DIAGRAM — 自信の帯 × 実際の正解率(実計算)
同じ問いを、何度も聞くSELF-CONSISTENCY
手がかりのひとつが自己無矛盾(セルフコンシステンシー)。同じ質問を温度を上げて何回も聞くと—— 本当に知っていることは毎回ほぼ同じ答え、 知らないことは毎回バラバラになります。 答えの一致率が、そのまま「信じてよさ」の目安になります。実際にサンプリングしてみましょう。
SAMPLE & AGREE — 何度も聞いて一致率を測る(実計算)
接地して、減らすGROUNDING & ABSTENTION
幻覚はゼロにはできませんが、大きく減らせます。 いちばん効くのは接地(グラウンディング)——検索した根拠をプロンプトに貼り、 出典つきで答えさせること。さらに「分からないなら分からないと言ってよい」設計、 出力の検証、温度を下げる、を重ねます。対策をONにして、幻覚リスクが下がるのを見てください。
DEFENSE STACK — 対策を重ねて幻覚リスクを下げる