HOW MODELS LEARN
AIは、間違いから学ぶ
テキスト編も画像編も「学習済みのモデル」の話でした。では、その賢さはどこから来たのか。 数千億個の重みが調整されていく——「学習」の正体を、5つのステップで体感します。
はじめる ↓予測して、答え合わせLOSS FUNCTION
LLMの学習は、壮大な穴埋めテストです。 文章の続きを隠して予測させ、正解と見比べる。 正解に付けた確率が低いほど損失(Loss)という「間違い度」が大きくなります。 学習とは、この損失を小さくしていくこと——それだけです。
FILL-IN-THE-BLANK — モデルの穴埋めテスト
損失の地形を、下るGRADIENT DESCENT
重みをどう直せば損失が減るのか。勾配(傾き)を計算すれば、「今いる場所の下り坂の方向」が分かります。 ボールが谷を転がり落ちるように、一歩ずつ坂を下る——これが勾配降下法。 歩幅にあたる学習率を変えて試してください。大きすぎると何が起きるでしょう?
LOSS LANDSCAPE — 損失の地形をボールが下る
w ← w − η·∇L(w) + 慣性 (重み ← 重み − 学習率 × 勾配。ボールには勢いも付く)
目の前で、学習させるLIVE TRAINING
理屈は分かった。では実際に学習させてみましょう。 ここにあるのは重み37個の小さなニューラルネット。 最初はデタラメな線しか引けませんが、「予測→答え合わせ→勾配降下」を毎秒数百回繰り返すと—— ▶を押して見届けてください。これはシミュレーションではなく、ブラウザ上で本当に学習しています。
NEURAL NET TRAINING — 点にフィットする曲線を学習中
続きを書くだけの装置を、しつけるSUPERVISED FINE-TUNING
事前学習を終えたモデル(ベースモデル)は、実は「続きを書く」ことしかできません。 質問しても、答えずに文章の続きを書いてしまう。 そこでお手本の対話データで追加学習(SFT)して、「質問には答える」ふるまいを教えます。 切り替えて違いを見てください。
BASE MODEL vs ASSISTANT — 同じ質問、違う応答
人の好みで、磨くRLHF
最後の仕上げ。モデルの回答を2つ並べ、人間がどちらが良いかを選ぶ。 この比較データから「人の好み」を点数化する報酬モデルを作り、 高得点の回答をしやすいようにモデルを強化学習で調整します。 ——今度はあなたがラベラーです。3回選んでみてください。
PREFERENCE LAB — あなたの好みがモデルを変える