HOW DIFFUSION MODELS GENERATE IMAGES
AIは、ノイズから
絵を彫り出す
Stable DiffusionやDALL·Eが絵を描くとき、キャンバスに筆を走らせているわけではありません。 砂嵐のようなノイズから、少しずつ「絵」を掘り起こしていく—— 拡散モデル(Diffusion)の内部を、5つのステップで体感します。
はじめる ↓プロンプトを、理解するTEXT ENCODER
スタート地点はテキスト生成と同じ。プロンプトをトークン化し、 テキストエンコーダが意味のベクトルに変換します。 このベクトルが、これから始まる全工程で「どんな絵を目指すか」を指し示す羅針盤になります。
PROMPT → TOKENS → VECTOR
…プロンプト全体が、絵の設計図となる1本のベクトルに(実際は数百次元×トークン数)
すべては、ノイズから始まるPURE NOISE
キャンバスは真っ白ではなく、完全にランダムなノイズで埋め尽くされています。 彫刻家が石の中に像を見出すように、モデルはこの砂嵐の中に「絵」を見出していきます。 ノイズは乱数のシード値から作られる—— だから同じシード+同じプロンプトなら、同じ絵が再現できるのです。
GAUSSIAN NOISE — 生成の出発点
少しずつ、ノイズを取り除くDENOISING
拡散モデルの心臓部。ニューラルネット(U-Net)が 「この画像に乗っているノイズはこれだ」と予測し、少しだけ取り除く—— これをタイムステップ t=1000 から 0 まで繰り返します。 スライダーを動かして、砂嵐の中から絵が浮かび上がる瞬間を確かめてください。
TIMESTEP — 「紫の星雲と、輪のある惑星」の場合
残っているノイズ量
プロンプトが、舵を取るGUIDANCE (CFG)
デノイジングの各ステップで、STEP 01のベクトルが「プロンプトに近づく方向」を指し示します。 その従い方の強さがガイダンススケール(CFG)—— 低いほどモデルの自由に、高いほどプロンプトに忠実に。 テキスト生成のtemperatureとは違い、ランダム性を操るツマミではなく、 プロンプトへの忠実度を決めるツマミです。
GUIDANCE SCALE — 「夕焼けの海に、小さな島」の場合
ノイズが、絵になるFULL PIPELINE
全部をつなげましょう。プロンプトを選び、シードを引いて、▶を押す—— 約30ステップのデノイジングが走り、ノイズから絵が現れます。 シードを変えると同じプロンプトでも別の生成過程をたどることに注目。
DIFFUSION PLAYGROUND — 擬似拡散モデルによる画像生成