トークンToken
文章を分割した最小単位。モデルはこのトークンのID番号の列を受け取って処理する。
テキスト生成編へ →GLOSSARY
用語集
このサイトに出てくる生成AIの用語を、やさしい一言でまとめました。 各カードから、その言葉を体感できる章へ飛べます。全111語。
テキスト生成7
埋め込みベクトルEmbedding
トークンを「意味の座標」に変換した数値の並び。意味の近い語ほど空間上でも近くに置かれる。
テキスト生成編へ →アテンションAttention
各トークンが文中の関連語に注目し、文脈を取り込む仕組み。Transformerの心臓部。
テキスト生成編へ →softmaxSoftmax
数値の並びを、合計が1になる確率分布に変換する関数。次の語の選びやすさを決める。
テキスト生成編へ →temperatureTemperature
確率分布の尖り具合を調整するつまみ。高いほど多様で意外に、低いほど堅実になる。
テキスト生成編へ →自己回帰Autoregressive
1トークン生成→末尾に追記→もう一度入力、を繰り返して文章を伸ばす生成方式。
テキスト生成編へ →語彙Vocabulary
モデルが扱えるトークンの全集合。確率分布はこの語彙すべてにわたって計算される。
テキスト生成編へ →トークナイザ5
サブワードSubword
単語より小さく文字より大きい、トークンの実際の単位。未知の語も部品の組み合わせで表せる。
トークナイザ編へ →BPEByte-Pair Encoding
よく隣り合う文字ペアを繰り返しくっつけて語彙を育てる、トークナイザの作り方。
トークナイザ編へ →マージ規則Merge Rules
BPEが学習した「このペアを併合する」という順序付きの規則集。これでトークンの切れ目が決まる。
トークナイザ編へ →トークン効率Token Efficiency
同じ内容を何トークンで表せるか。言語や書き方で差が出る(日本語は英語より不利になりがち)。
トークナイザ編へ →文字数え問題strawberry Problem
トークン単位で読むため、単語内の文字数(rの数など)を数えるのが苦手という有名な弱点。
トークナイザ編へ →Transformer深掘り4
Query・Key・ValueQ / K / V
アテンションの3つの役割ベクトル。Qは「問い」、Kは「見出し」、Vは「中身」。
Transformer編へ →内積Dot Product
2つのベクトルの向きの近さを測る計算。QとKの相性(注目度)の点数になる。
Transformer編へ →位置エンコーディングPositional Encoding
トークンの並び順の情報を、ベクトルに数値として埋め込む工夫。
Transformer編へ →多層Layers
アテンションを何段も積み重ね、単純な関係から複雑な照応まで段階的に解く構造。
Transformer編へ →サンプリング・デコード5
デコードDecoding
モデルが出した確率分布から、実際に次の1語を選ぶ工程。モデル本体とは別のダイヤル。
サンプリング編へ →貪欲法Greedy Decoding
毎回いちばん確率の高い語を選ぶ方式。確実で再現性があるが、単調で繰り返しに陥りやすい。
サンプリング編へ →top-p / 核サンプリングNucleus Sampling
確率を上から足してpに届くまでの語だけを候補に残すサンプリング。候補数が分布に応じて変わる、今の定番。
サンプリング編へ →top-kTop-k Sampling
上位k個の語だけを候補に残す方式。確信度に関係なく常にk個を残す。
サンプリング編へ →ビームサーチBeam Search
候補の文をB本まとめて並行に伸ばし、累積確率の高い文を探す。翻訳・要約・コードなど正解が一つに近いタスク向き。
サンプリング編へ →学習7
パラメータParameter / Weight
学習で調整される数値そのもの。数十億個のパラメータの集まりがモデルの本体。
学習編へ →損失Loss
モデルの予測と正解とのズレの大きさ。これを小さくするのが学習の目的。
学習編へ →勾配降下Gradient Descent
損失という坂を下る向きにパラメータを少しずつ動かして最適解へ近づく方法。
学習編へ →逆伝播Backpropagation
各パラメータが損失にどれだけ影響したか(勾配)を出力側から遡って計算する手続き。
学習編へ →学習率Learning Rate
1回の更新でパラメータを動かす歩幅。大きすぎると発散、小さすぎると停滞。
学習編へ →SFT教師ありファインチューニング
良い応答の手本を集めて追加学習し、モデルを対話向けに整える工程。
学習編へ →RLHF人間のフィードバックによる強化学習
人間がどちらの答えを好むかでモデルを訓練し、有用さと安全さを整える手法。
学習編へ →画像生成5
拡散モデルDiffusion Model
ノイズだらけの画像から、少しずつノイズを取り除いて絵を作り出す生成モデル。
画像生成編へ →デノイジングDenoising
画像に乗ったノイズを推定して引き算し、絵を一歩ずつ「彫り出す」処理。
画像生成編へ →タイムステップTimestep
デノイジングの進み具合を表す時刻。大きいほどノイズまみれ、0で完成。
画像生成編へ →CFGClassifier-Free Guidance
生成をプロンプトにどれだけ強く従わせるかの度合い。強すぎると不自然になる。
画像生成編へ →ノイズスケジュールNoise Schedule
各ステップでどれだけノイズを残す/消すかの計画表。
画像生成編へ →音声生成5
音声認識6
音声認識 ASRAutomatic Speech Recognition
音声の波形を文字列に変換する技術。音声生成のちょうど逆向きの処理。
音声認識編へ →メルスペクトログラムMel Spectrogram
人の聴覚に合わせて周波数軸を圧縮したスペクトログラム。音声認識モデルの標準的な入力特徴。
音声認識編へ →音響モデルAcoustic Model
各時間フレームが「どの音・文字らしいか」の確率を出すニューラルネット。
音声認識編へ →CTCConnectionist Temporal Classification
フレーム数と文字数のズレを、重複の併合とブランク除去で吸収するアライメント手法。
音声認識編へ →ブランク ␣Blank Token
「今は何も言っていない/切れ目」を表すCTC特有の特別記号。重複文字の保護にも使う。
音声認識編へ →WhisperWhisper
多言語の音声を大量に学習した、エンコーダ・デコーダ型の音声認識モデル。雑音や翻訳にも強い。
音声認識編へ →動画生成2
音楽生成2
ビジョン5
ViTVision Transformer
画像を小さなパッチに切って単語列のように並べ、Transformerで処理するモデル。
ビジョン編へ →パッチPatch
画像を格子状に切り出した断片。これが画像における「トークン」になる。
ビジョン編へ →CLIPCLIP
画像と言葉を同じベクトル空間に置き、対応するもの同士を近づけたモデル。
ビジョン編へ →ゼロショットZero-shot
専用の学習をせず、候補ラベルの文との近さを測るだけで分類してしまう芸当。
ビジョン編へ →マルチモーダルMultimodal
画像・言葉・音など、複数の種類の入力をまとめて扱えること。
ビジョン編へ →プロンプト術5
プロンプトPrompt
モデルに与える入力の言葉。推論時に出力を操作できる唯一のハンドル。
プロンプト術編へ →Few-shot / 文脈内学習In-context Learning
プロンプトに手本を数個入れて、その並びを続けさせる技。重みは変えず、その場の文脈だけで形を揃える。
プロンプト術編へ →役割付与Role Prompting
「あなたは〇〇です」で語り口・深さ・語彙を寄せる技。知識量ではなく引き出し方が変わる。
プロンプト術編へ →思考の連鎖プロンプティングCoT Prompting
「ステップバイステップで」と促し、普通のモデルからも途中式を引き出して正答率を上げる技。
プロンプト術編へ →構造化出力Structured Output
「JSONで」「表で」など出力の型を指定し、プログラムでそのまま扱える形にする技。
プロンプト術編へ →ファインチューニング・LoRA6
ファインチューニングFine-tuning
既存モデルの重みを手本データで追加学習し、口調・形式・知識を寄せること。
LoRA編へ →LoRALow-Rank Adaptation
本体を凍結し、重みの変化を細い2枚の行列(低ランク)だけで学習する省コストな微調整法。
LoRA編へ →低ランク近似Low-Rank Approximation
大きな行列を、少数の方向(小さなランク)の積で近似すること。LoRAが成り立つ数学的な核。
LoRA編へ →ランクRank
行列が持つ独立な方向の数。LoRAではこれが「付け足しの太さ＝学習パラメータ量」を決める。
LoRA編へ →アダプタAdapter
本体に差し込む小さな学習済みモジュール。付け替えるだけで用途を切り替えられる。
LoRA編へ →QLoRAQuantized LoRA
本体を4bit量子化して凍結し、その上にLoRAを載せる手法。巨大モデルの微調整を軽量化する。
LoRA編へ →エージェント・RAG4
RAG検索拡張生成
検索してきた文書をプロンプトに貼り付けてから答えさせ、正確さと出典を得る方式。
エージェント編へ →ベクトル検索Semantic Search
キーワード一致ではなく、意味の近さ(ベクトルの距離)で文書を探す検索。
エージェント編へ →ツール使用Tool Use / Function Calling
モデルは「道具を呼ぶテキスト」を出すだけで、外部システムが実際に実行し結果を返す。
エージェント編へ →エージェントAgent
考える→道具を使う→結果を見る、のループを繰り返して自律的にタスクを進めるAI。
エージェント編へ →コーディング3
補完Completion
カーソル位置の続きを予測し、ゴーストテキストで提案する機能。
コーディング編へ →FIM中間穴埋め / Fill-in-the-Middle
前と後ろの文脈の両方から、間のコードを埋める形式の補完。
コーディング編へ →diffDiff
変更前と変更後の差分。AIによるコード編集の提案はこの形で示される。
コーディング編へ →推論モデル5
思考の連鎖Chain of Thought
答える前に推論の途中経過をトークンとして書き出す方式。多段の問題の正答率が上がる。
推論モデル編へ →テスト時計算Test-time Compute
学習ではなく、答えるときに費やす計算量。増やすほど賢くなる余地がある。
推論モデル編へ →自己無矛盾Self-Consistency
同じ問題を独立に何度も解き、多数決で答えを決める手法。テスト時計算の代表例。
推論モデル編へ →自己検証Self-Verification
途中結果を検算し、間違いに気づいたら引き返す能力。推論モデルの肝。
推論モデル編へ →推論モデルReasoning Model
答える前に長い思考を走らせ、思考予算を選べるモデル(o1が元祖。o3・DeepSeek-R1・Gemini/Claudeの思考モードなど)。精度を計算で買う。
推論モデル編へ →評価6
ベンチマークBenchmark
MMLUなどの標準テスト集。多くのモデルを同じ問題で採点し、比較・順位付けする。
評価編へ →BLEU / ROUGEN-gram Overlap
模範解答との単語の重なりで測る自動指標。速いが、意味ではなく表面の一致しか見ない。
評価編へ →データ汚染Contamination
テスト問題が学習データに紛れ込むこと。丸暗記で高スコアが出て、実力を過大評価してしまう。
評価編へ →LLM-as-judgeLLM as a Judge
強いLLMに回答を採点させる手法。安く人間に近いが、位置・冗長・自己選好のバイアスを持つ。
評価編へ →EloレーティングElo Rating
対戦の勝敗から強さを数値化する仕組み(チェス発祥)。人間の対比較投票をランキングに変える。
評価編へ →グッドハートの法則Goodhart's Law
指標が目標になると、その指標は良い指標でなくなる。ベンチマーク過剰最適化の戒め。
評価編へ →量子化・高速化4
投機的デコード4
投機的デコードSpeculative Decoding
小型の下書きモデルが数トークン先を提案し、本命モデルが1パスでまとめて検証・採用する高速化。出力分布は本命だけのときと厳密に同じ。
投機的デコード編へ →下書きモデルDraft Model
本命より小さく速いモデル。次の数トークンを軽く予想する。外れても本命が訂正するので粗くてよい。
投機的デコード編へ →採用率Acceptance Rate
下書きが本命と一致して受理される割合。高いほど1パスで進むトークンが増え、速くなる。
投機的デコード編へ →Medusa / EAGLESpeculation Variants
本命に予測ヘッドを足す(Medusa)、特徴量で先読みする(EAGLE)など、採用率を高めた発展形。
投機的デコード編へ →MoE(専門家混合)4
MoEMixture of Experts
計算ブロックを多数の「専門家」に分け、トークンごとに一部だけ起動する構造。容量は巨大でも計算は小さい。
MoE編へ →ルーターRouter / Gating
各トークンを見て、どの専門家に任せるかを採点する小さなネットワーク。上位k人(ふつう2人)を選ぶ。
MoE編へ →疎な起動Sparse Activation
全パラメータのうち、トークンごとに一部だけを計算に使うこと。MoEが軽い理由。
MoE編へ →負荷分散Load Balancing
仕事が一部の専門家に偏らないよう均等に散らす仕掛け。学習に補助的な損失を足して実現する。
MoE編へ →プライバシー・訓練データ6
暗記Memorization
特定の訓練文字列を、そっくりそのまま覚え込むこと。頻出・一意な文ほど起きやすく、漏洩の火種になる。
プライバシー編へ →汎化Generalization
個々の文を覚えるのではなく、文法やパターンを身につけること。学習の本来の目的で、未知の文も作れる。
プライバシー編へ →メンバーシップ推論Membership Inference
ある文が訓練データに入っていたかを外から推測する手法。見た文はロスが低いことを手がかりにする。
プライバシー編へ →重複除去Deduplication
訓練前に、ほぼ同じ文を間引く前処理。暗記の最大の原因(重複)を減らす基本的な対策。
プライバシー編へ →差分プライバシーDifferential Privacy
学習にノイズを混ぜ、特定の1件を覚えられなくする技術。安全と引き換えに精度を少し犠牲にする。
プライバシー編へ →PII個人を特定できる情報
氏名・住所・電話番号など。訓練データに紛れて暗記されると、出力から漏れる恐れがある。
プライバシー編へ →安全性・アライメント5
アライメントAlignment
モデルの振る舞いを、人間の価値観や意図に沿わせること。
安全性編へ →システムプロンプトSystem Prompt
会話の一番前に差し込まれる、役割・口調・方針を決める見えない指示。
安全性編へ →プロンプトインジェクションPrompt Injection
読ませるデータの中に命令を紛れ込ませ、AIを乗っ取ろうとする攻撃。
安全性編へ →多層防御Defense in Depth
穴の位置が違う防御層を何枚も重ね、一枚が破られても全体は守る考え方。
安全性編へ →過剰拒否Over-refusal
無害な依頼まで断ってしまう失敗。安全性の裏側にある重要な指標。
安全性編へ →ハルシネーション6
ハルシネーションHallucination
知らないことを、もっともらしく事実のように答えてしまう現象。幻覚。
ハルシネーション編へ →エントロピーEntropy
確率分布の散らばり具合。高いほどモデルが迷っている(不確実)ことを表す。
ハルシネーション編へ →キャリブレーションCalibration
自信の申告と実際の正解率が一致している度合い。生モデルは自信過剰になりがち。
ハルシネーション編へ →ECE期待キャリブレーション誤差
自信と正解率のズレの平均。小さいほど自信の数字を信じてよい。
ハルシネーション編へ →接地Grounding
検索した根拠にもとづいて答えさせ、幻覚を減らすこと。RAGの核。
ハルシネーション編へ →棄権Abstention
確信がないとき「分からない」と答えられるようにする設計。幻覚対策の要。
ハルシネーション編へ →該当する用語が見つかりませんでした。