HOW ONE DISTRIBUTION BECOMES MANY TEXTS
同じ確率から、違う文章が生まれる
テキスト生成編で、モデルは「次の語の確率分布」を出すと学びました。 でも——そこから実際にどう1語を選ぶかで、文章の性格はまるで変わります。 AIが同じ質問に毎回違う答えを返す理由を、デコード戦略の可視化で解き明かします。
はじめる ↓「選ぶ」は、独立した工程DECODING
モデルの仕事は、次の語の確率分布を出すところまで。 その分布から実際に1語を選ぶのは、デコードという別の工程です。 しかも選び方は自由——いつも一番上を選ぶこともできれば、確率に応じてサイコロを振ることもできる。 同じ分布を、2つのやり方で選んでみてください。
THE DISTRIBUTION — 「昔々、あるところに」の次の語
貪欲法 vs サンプリングGREEDY VS SAMPLING
一番上だけを選び続けるのが貪欲法(greedy)。確実だけれど、いつも同じ・単調で、 時に同じ言葉を繰り返すループに落ちます。 確率どおりにサイコロを振るのがサンプリング。多様だけれど、時々おかしな語も引く。 ▶で何度も生成して、両者の「性格」を見比べてください。
SAME MODEL, TWO POLICIES — 物語を生成する
▲ 貪欲法 deterministic
🎲 サンプリング T = 1.0
分布を、絞ってからサイコロを振るTEMPERATURE · TOP-K · TOP-P
サンプリングを飼いならす3つのダイヤル。temperatureは分布の尖り具合(低いと堅実、高いと奔放)。 top-kは「上位k個」だけを候補に残す。top-p(核サンプリング)は 「確率を上から足してpに届くまで」の語だけ残す。 ダイヤルを回して、候補プールが伸び縮みする様子を見てください。
SHAPE THE POOL — 生き残った候補だけからサンプルする
先を読む——ビームサーチBEAM SEARCH
貪欲法は近視眼的です。その場で一番よい語を選んでも、続きが悪ければ全体では損をする。 ビームサーチは候補の文をB本まとめて並行に伸ばし、 累積確率の高いものだけを残していく。「今よい」ではなく「通してよい」を探すのです。 ▶で、貪欲法(B=1)とビーム(B=2)の結末を比べてください。
LOOK AHEAD — 「彼女は…」を完成させる
タスクで、ダイヤルを変えるPICK YOUR STRATEGY
正解はありません。あるのはタスクとの相性だけ。 事実質問やコードは低温・貪欲寄りで正確さと再現性を、 物語やブレストは高温・top-pで多様さを。 タスクを選んで推奨設定を見て、自分でもダイヤルを回してプレイグラウンドで確かめてください。
PRESETS — タスク別のおすすめ
PLAYGROUND — 設定を変えて物語を生成する
※ ここでは題材は常に同じ昔話。ダイヤル（temperature・top-p）の効き方だけを比べています。上のプリセットは設定を反映するだけ——▶で生成して試してください。