SEE INSIDE THE MACHINE
生成AIの頭の中を、見る
AIが言葉や絵を生み出す瞬間、その内部では緻密な数学が走っています。 ブラックボックスの蓋を開けて、生成の全プロセスをインタラクティブに体感する教育サイト。
① 言葉のAIのしくみFOUNDATIONS
LLMが言葉をどう扱うか。トークンから、アテンション、学習まで。
テキスト生成のしくみ
TEXT GENERATION / LLMトークン化、埋め込みベクトル、アテンション、確率分布、そして自己回帰ループ。LLMが一語ずつ文章を紡ぐ過程を、5つのステップで可視化。temperatureを操作して、擬似LLMに物語を生成させることもできます。
EXPLORE → 応用 "r" → ？トークナイザ深掘り
TOKENIZER / BYTE-PAIR ENCODINGAIはなぜ「strawberry」の r を数えられないのか。文字でも単語でもなくサブワードで読む理由、よく出るペアをくっつけて語彙を育てるBPE、有名な文字数え失敗の種明かし、数字・空白・日本語のトークン効率差まで——自分の文で試せるプレイグラウンド付き。
EXPLORE → 上級 Q·K → softmaxTransformer深掘り
ADVANCED / ATTENTION INTERNALSアテンションの中身を数値で追う上級章。Query・Key・Valueの3つの顔、内積→√d→softmaxのステップ実行、絵の具のように意味が混ざる加重平均、位置エンコーディング、層を重ねて照応が解ける瞬間まで。
EXPLORE → 応用 🎲 → 「晴れ」サンプリングとデコード
DECODING / SAMPLING & BEAM SEARCH同じ確率分布から、なぜ毎回違う文章が生まれるのか。貪欲法とサンプリングの性格差、 temperature・top-k・top-p(核サンプリング)で候補を絞る様子、先を読むビームサーチ、 そしてタスク別の使い分けまで——実際に分布からサンプルして体感します。
EXPLORE → 応用 ∇L → 0学習のしくみ
TRAINING / GRADIENT DESCENT & RLHFAIはどうやって賢くなるのか。穴埋めテストと損失、坂を転がり落ちる勾配降下、ブラウザ上で本当に学習するミニニューラルネット、そしてSFT・RLHFまで。あなたがラベラーになってモデルの性格を変える体験も。
EXPLORE →② いろいろ作る・見るMULTIMODAL
画像・音・動画・音楽・視覚。あらゆるモダリティの生成と理解。
画像生成のしくみ
IMAGE GENERATION / DIFFUSIONただのノイズから、拡散モデルが一歩ずつ「絵」を彫り出していく——タイムステップとCFGを操作して、デノイジングの過程を体感できます。擬似拡散モデルで画像を生成することもできます。
EXPLORE → 入門 ∿ → ♪音声生成のしくみ
SPEECH SYNTHESIS / TTS & VOCODERAIはどうやって「声」を作るのか。波形、音が画像になるスペクトログラム、音素と抑揚、音の設計図を描く音響モデル、そして擬似ボコーダで実際に「声っぽい音」を合成——🔊 音が鳴る章です。
EXPLORE → 応用 ∿ → 「こんにちは」音声認識のしくみ
SPEECH RECOGNITION / ASR & CTCAIはどうやって「聞き取る」のか。音声生成の逆再生——波形を特徴の地図に変え、フレームごとに音を当て、重複と空白をCTCで畳んで文字列にし、最後は同音異義語を言語モデルが文脈で直す。🔊 音が鳴る章です。
EXPLORE → 応用 ▩▩▩ → 🎬動画生成のしくみ
VIDEO GENERATION / SPATIOTEMPORAL DIFFUSIONAIはどうやって「時間」を描くのか。1枚ずつ作るとチラつく問題、縦×横×時間をまとめてデノイズする発想、動きを追いかける時間アテンション、そして再生しながらノイズが映像になるプレイグラウンドまで。
EXPLORE → 入門 ♪ → ♬ 0.34音楽生成のしくみ
MUSIC GENERATION / AUTOREGRESSIVE MELODYAIはどうやって作曲するのか。音符のトークン化、耳で確かめる「音楽の文法」、一音ずつ確率で選ぶメロディ生成、そして伴奏付きの自動作曲まで——🔊 曲が生まれる瞬間が聴ける章です。
EXPLORE → 応用 🖼 → 「夕焼け」ビジョンのしくみ
VISION / ViT, CLIP & MULTIMODALAIはどうやって画像を「見る」のか。ピクセルの数字の海、画像を単語にするパッチ分割、画像と言葉が同じ地図に乗るCLIP空間、ゼロショット分類、そして答えるために見ているパッチが光るマルチモーダルQAまで。
EXPLORE →③ 使いこなすCAPABILITIES
調べて、書いて、考える。AIを実際の仕事に使うための技術。
プロンプト術のしくみ
PROMPTING / FEW-SHOT & STRUCTURE同じAIから良い答えを引き出す技。曖昧な指示の限界、例を見せるFew-shot、 役割を与える、ステップバイステップで考えさせる、そして構造化出力まで—— 「なぜ効くのか」を仕組みから、プロンプトの組み立てを見ながら学びます。
EXPLORE → 応用 W ＋ B·Aファインチューニング・LoRA
FINE-TUNING / LoRA & LOW-RANK巨大モデルを安く自分好みに育てる技。フル微調整の重さ、更新は低ランクで足りるという発見、本体を凍結して小さな2枚だけ学習するLoRA、ランクと質のトレードオフ、そしてアダプタ付け替えまで——行列の低ランク分解を実際に計算しながら。
EXPLORE → 応用 🔍 → 🤖エージェントとRAGのしくみ
AGENTS / RAG & TOOL USEAIはどうやって「調べて、動く」のか。素のLLMの弱点から、意味で探すベクトル検索、出典つきで答えるRAG、ツール呼び出しの種明かし、そして考えて動くエージェントループのプレイグラウンドまで。
EXPLORE → 応用 { } → ✓コーディングAIのしくみ
CODING / COMPLETION & RUN-FIX LOOPAIはなぜ動くコードを書けるのか。ゴーストテキスト補完の正体、穴埋め(FIM)、diffによる編集、そしてブラウザで本当にテストを実行しながら失敗から自分で直すエージェントループまで。
EXPLORE → 応用 「？」→ 🤔 → 42推論モデルのしくみ
REASONING / CHAIN-OF-THOUGHTAIはどうやって「考えてから答える」のか。即答の限界、途中式を書く思考の連鎖、何度も考えて多数決する自己無矛盾、行き止まりからの引き返し、そして思考予算で精度を買う推論モデルまで。
EXPLORE → 応用 ⚖ → 87.3評価のしくみ
EVALUATION / BENCHMARKS & ELO「AIが賢くなった」を誰がどう決めているのか。正解が一つでない難しさ、 単語の重なりで測るBLEU/ROUGEの限界、ベンチマークと汚染、AIに採点させるLLM-as-judgeのバイアス、 そして人間投票をEloに変えるアリーナまで——数字に騙されないための一章。
EXPLORE →④ 届けるDEPLOY & TRUST
軽くして、安全に。実世界にAIを届けるための工夫。
量子化と高速化のしくみ
QUANTIZATION / KV-CACHE & DISTILL巨大モデルがなぜスマホで動くのか。パラメータ数×精度で決まる重さ、減色に似た量子化スライダー、本物のミニNNで見る精度の崖、計算を使い回すKVキャッシュ、そして先生の勘まで写す蒸留まで。
EXPLORE → 応用 ✏️ → 🎯 ×3投機的デコードのしくみ
SPECULATIVE DECODING小さなAIが下書きし、大きなAIがまとめて添削する高速化。1トークンずつの遅さ、下書きモデル、 並列検証と接頭辞の採用、なぜ品質を落とさず速くなるのか、そして使いどころまで—— 品質を犠牲にしない高速化の裏側。
EXPLORE → 上級 64人 → 2人MoE(専門家混合)のしくみ
MIXTURE OF EXPERTS1兆パラメータのモデルが速い理由。密なモデルの無駄、専門家への分割、 トークンを振り分けるルーター、巨大な容量で小さな計算、そして負荷分散の難しさまで—— いまのスケーリングの主役を解き明かします。
EXPLORE → 応用 名前: ███プライバシーと訓練データ
PRIVACY / MEMORIZATIONAIは何を覚えているのか。訓練文を丸暗記する「暗記」と「汎化」の違い、重複が暗記を生むこと、 見た文はロスが低いメンバーシップ推論、PII・著作権のリスク、そして重複除去・差分プライバシー・ 忘却などの対策まで。
EXPLORE → 応用 「無視して」→ 🛡安全性とアライメント
SAFETY / ALIGNMENT & GUARDRAILSAIはなぜ断るのか。善悪を持たない素のモデル、人格を決める見えないシステムプロンプト、断り方の設計図、メールに命令を隠すプロンプトインジェクション体験、そして依頼がどの層で止まるかを見る多層防御まで。
EXPLORE → 応用 「たぶん…」 → ⚠ハルシネーションのしくみ
HALLUCINATION / CONFIDENCE & GROUNDINGなぜAIは自信満々に間違えるのか。もっともらしさを選ぶ機械、確率とエントロピーで測る自信、自信と正しさのズレ(キャリブレーション)、自己矛盾で炙り出す検出、そして接地(RAG)と「知らない」で減らす対策まで——実際に計算しながら。
EXPLORE →