HOW AI GENERATES VIDEO

AIは、時間を描く

SoraやVeoが生む数秒の映像は、画像生成の単純な連打ではありません。 1枚ずつ作るとバラバラにチラついてしまう—— 「時間ごとまとめて彫り出す」という動画生成の核心を、5つのステップで体感します。

SCROLL

STEP 01

動画は、パラパラ漫画FRAMES

動画の正体は静止画の束です。1秒間に24枚の画像をめくると、脳が「動き」を補完してくれる。つまりAIにとって動画生成とは、画像を24枚/秒ぶん作ること—— まずはコマ数(fps)を変えて、パラパラ漫画が「動画」になる瞬間を確かめてください。

FRAME RATE — コマ数を変えて再生

STEP 02

では画像生成AIで1フレームずつ作ってみると——大失敗します。フレームごとに生成をやり直すと、雲の形、山の稜線、色味が毎回すこしずつ違う「別の解釈」になってしまう。左右を見比べてください。同じ風景なのに、左は世界が震えています。

SIDE BY SIDE — 各フレーム独立生成 vs 時間を繋いだ生成

✕ 各フレームを独立に生成

✓ 時間を繋いで生成

STEP 03

解決策は発想の転換です。動画を「画像の列」ではなく縦×横×時間の1つのブロックとみなし、全フレームを同時にデノイズしていく。下の動画は再生されたまま——スライダーを動かすと、動いているノイズから動画が丸ごと浮かび上がります。

JOINT DENOISING — 再生しながらデノイズする

ノイズ完成

STEP 04

「まとめてデノイズ」を支えるのが時間方向のアテンションです。テキスト生成編では単語が他の単語を見ていました。動画では、画面の各パッチが 他のフレームの対応する場所を見ます。切り替えて確かめてください——動くものは追いかけ、背景は同じ場所を見続けます。

TEMPORAL ATTENTION MAP — パッチはどのフレームの、どこを見るか

STEP 05

全部つなげましょう。シーンを選び、シードを引いて、▶—— 16フレームまるごとのデノイズが走り、動くノイズが動く映像に変わります。シードを変えるとノイズのパターンが変わることにも注目してください。

VIDEO DIFFUSION PLAYGROUND — 擬似動画生成

RECAP

STEP 01フレーム動画=1秒24枚の静止画。まずは画像の束。

STEP 02チラつき1枚ずつ独立に作ると、世界が毎コマ揺れる。

STEP 03同時デノイズ縦×横×時間のブロックをまるごと彫り出す。

STEP 04時間アテンションパッチが他フレームの対応点を見て一貫性を保つ。

STEP 05パイプライン動くノイズから、動く映像へ。

SERIES

この章は画像生成編の続きです。拡散モデルが初めての方は、そちらからどうぞ。