WHAT DOES AN AI REMEMBER?
AIは、何を覚えているのか
AIは数兆語を読んで学びます。その多くは「パターンとして身につける(汎化)」——でも時々、 特定の文章をそのまま丸暗記してしまう。個人情報や著作物が漏れることも。 AIの記憶の正体と、プライバシーを守る仕組みを、5つのステップで解き明かします。
はじめる ↓覚える、の二つの意味MEMORIZE VS GENERALIZE
AIの「覚える」には二種類あります。汎化——文法や言い回しのパターンを身につけること。 これが学習の本来の目的で、だから見たことのない文も作れる。 もう一つが暗記——特定の文字列をそっくりそのまま覚え込むこと。 こちらが、プライバシーの問題を生みます。切り替えて見比べてください。
TWO KINDS OF MEMORY — 続きを書かせてみる
なぜ暗記する? — くり返しの罪DUPLICATION DRIVES MEMORIZATION
最大の原因は重複です。訓練データに1回しか出てこない文は、たいてい汎化に溶けて消えます。 でも何百・何千回とくり返し現れる文字列(定型文、コピペで拡散した文、スクレイプの重複)は、 モデルに焼き付く。出現回数を動かして、暗記される確率がどう上がるか見てください。
DUPLICATION → MEMORIZATION — 出現回数と暗記率
「見た文」は、当てられるMEMBERSHIP INFERENCE
ある文章が訓練データに入っていたかを、外から推測できてしまう——これが メンバーシップ推論。カギはロス(予測の外しにくさ)。 モデルは見たことのある文には自信を持って予測でき、ロスが低くなる。 下の小さなモデルは3文だけを学習済みです。2つの文のロスを実際に測って比べます。
LOSS COMPARISON — 訓練文は、ロスが低い
漏れると困るものPII, COPYRIGHT, SECRETS
暗記が現実の害になるのは、こんなときです——個人情報(PII)が吐き出される、 著作物が丸ごと再現される、スクレイプしたコードから秘密鍵が漏れる。 擬似環境で、暗記された情報を引き出そうとする様子と、それが伏せられる様子を見てください。
EXTRACTION SANDBOX — 暗記された中身は漏れるか(擬似・架空データ)
守る技を、重ねるDEFENSES
完璧な一手はありません。だから対策も層で重ねます——訓練前に重複を消し、個人情報を洗い、 学習にノイズを混ぜて誰か一人を覚えられなくし(差分プライバシー)、出力を検閲し、 後から特定データを忘れさせる。チップをONにして、漏洩リスクが下がるのを見てください。
DEFENSE STACK — 対策を足すほど、リスクは下がる