HOW AI SEES IMAGES
AIは、画像を読む
写真を見せると説明してくれるAI——でもAIに「目」はありません。 画像を切り刻んで文章のように読み、言葉と同じ地図に乗せる。 「見る」の正体を、5つのステップで体感します。
はじめる ↓画像は、数字の海PIXELS
コンピュータにとって画像とは、RGB3つの数値が並んだ巨大な行列です。 224×224の小さな画像でも約15万個の数値。 画像をクリックして、ルーペでその「数字の海」を覗いてみてください。 夕日のオレンジも、ただの (255, 179, 92) です。
PIXEL LOUPE — クリックした場所の数値を見る
画像を、文章にするVISION TRANSFORMER
15万個の数値をどう読むか。Vision Transformer(ViT)の答えは大胆でした—— 画像を小さなパッチに切って、単語のように並べる。 パッチ=トークン。あとはテキスト生成編とまったく同じTransformerが処理します。 「画像は16×16の単語でできた文章」というわけです。
IMAGE → TOKEN SEQUENCE — 画像の文章化
画像と言葉を、同じ地図にCLIP / SHARED SPACE
ここがビジョンAIの心臓部。画像のエンコーダと言葉のエンコーダを、 「対になる画像とキャプションが近くなるように」数億ペアで訓練すると—— 画像と言葉が同じベクトル空間に住み始めます。 クリックして確かめてください。「夜」という言葉は、星空と夜の街の両方に近いはずです。
SHARED EMBEDDING SPACE — 画像も言葉も、同じ座標系
ラベルを書けば、分類器になるZERO-SHOT CLASSIFICATION
同じ地図に乗っていると、魔法のような応用ができます。 画像と候補ラベルの近さを測るだけで分類が完成——専用の学習は一切不要(ゼロショット)。 しかも分類の軸は、ラベルの文を書き換えるだけで変えられる。 同じ画像を「場所」「時間帯」「天気」で分類し直してみてください。
ZERO-SHOT — 画像 × ラベル文の類似度で分類
画像と、話すMULTIMODAL LLM
仕上げです。STEP 02の画像トークン列を、そのままLLMの入力に混ぜると—— LLMは画像を「読める外国語の文章」として扱い、質問に答え始めます。 質問を選ぶと、答えるために「見ている」パッチが光ります。 ClaudeやGPT-4oが画像を説明できる仕組みが、これです。
VISUAL Q&A — どこを見て、答えているか