WHO DECIDES THE AI GOT SMARTER?

「賢い」を、どう測るか

新しいAIが「◯◯を超えた」——その数字は、誰がどうやって出したのでしょう。正解が一つに決まらない世界で、良し悪しを測るのは驚くほど難しい。リーダーボードの数字に騙されないための「評価」の裏側を、5つのステップで解き明かします。

SCROLL

STEP 01

正解が、一つじゃないNO SINGLE ANSWER

「2+2は?」なら正解は4だけ。採点は一瞬です。でも「この文章を要約して」「キャッチコピーを作って」は—— 良い答えが何通りもある。どれも正しくて、どれも少しずつ違う。この開かれた問いこそ生成AIの主戦場で、そして評価を難しくする根っこです。

CLOSED VS OPEN — 採点できる問いと、できない問い

STEP 02

いちばん安い測り方は、模範解答とどれだけ単語が重なるかを数えること(BLEU・ROUGE)。速くて自動。でも意味ではなく表面を見ているだけ。言い換えの名文が低い点になり、単語だけ真似た駄文が高い点になる——実際に重なりを数えて確かめましょう。

WORD OVERLAP — 模範解答と候補の一致を数える

模範解答:

候補:

STEP 03

意味を測れないなら、選択式のテストにしてしまえばいい。MMLUのような大量の4択問題なら正解率が出せ、リーダーボードが作れます。ただし落とし穴が2つ——汚染(問題が学習データに漏れている)と 過剰最適化。満点が「賢い」を意味するとは限りません。

MINI BENCHMARK — 4択テストで採点する

STEP 04

人間が全部読むのは高い。そこで強いLLMに審査員をさせる——2つの回答を見せて、良い方を選ばせる。人間の判断をスケールできる一方、審査員にもクセ(バイアス)があります。並び順で判定が変わる、長い方をひいきする…。バイアスを切り替えて、審査員が騙される様子を見てください。

THE JUDGE — 2つの回答、どちらが良い?

STEP 05

結局いちばん信頼できるのは人間の投票です。2つの匿名回答を見せて選ばせ、勝敗を Eloレーティング(チェスと同じ仕組み)に反映する——これがChatbot Arena方式。 ▶で対戦を進めて、実力の順位が票の積み重ねから浮かび上がる様子を見てください。

ELO ARENA — 対戦を重ねて順位が決まる

THE STACK — 評価は一枚では足りない

RECAP

STEP 01正解が無い開かれた問いには模範解答が無く、正解率が使えない。

STEP 02自動指標BLEU/ROUGEは単語の重なり。速いが意味は測れない。

STEP 03ベンチマーク4択で採点。汚染と過剰最適化で数字は歪む。

STEP 04AIが採点LLM審査員は安いが、位置・冗長・自己選好のクセ。

STEP 05人間・アリーナ投票をEloへ。層で重ね、指標を疑い続ける。

SERIES

この章は学習編(RLHFの選好)、 安全性編(拒否率の測定)、推論編(正答率)を貫く「測り方」の横串です。