全員でやらず、担当だけ動かす

密なモデルの、もったいなさDENSE = EVERYONE WORKS

ふつうの(密な)モデルでは、1トークンが層を通るたびに全パラメータを丸ごと使います。 「の」のような簡単なトークンも、「光合成」のような難しいトークンも、同じ計算量。 能力を上げようとパラメータを増やすほど、1トークンの計算もどんどん重くなる——この直結が壁でした。

一つの塊を、専門家に分けるMANY EXPERTS

発想の転換。大きな一枚の計算ブロックを、小さな「専門家」を何人も並べた形に置き換えます。 専門家はそれぞれ得意分野を(なんとなく)持つように育つ——コードが得意な人、数字が得意な人、記号が得意な人…。 総パラメータはむしろ増えます。でも次のステップで、使うのはごく一部になります。

ルーターが、担当を選ぶTHE ROUTER / GATING

司令塔となる小さなルーター(ゲート)が、トークンを見て 「この子は誰に任せるか」を採点します。点数の高い上位数人(ふつうは2人)だけが起動し、 残りの専門家は眠ったまま。トークンをクリックして、誰が呼ばれるか見てください。

容量は巨大、計算は小さいHUGE CAPACITY, TINY COMPUTE

ここで魔法が起きます。総パラメータは専門家の人数ぶんまで膨らませられるのに、 1トークンが実際に使うのは選ばれた数人ぶんだけ。 だから「容量は1兆パラメータ級・計算は小型モデル並み」が両立する。人数と起動数を変えて、その差を見てください。

難しさ——偏り、そして現実LOAD BALANCING & REALITY

MoEの泣きどころは負荷の偏り。放っておくとルーターは人気の専門家に仕事を集中させ、 遊ぶ専門家と過労の専門家が生まれます(容量の無駄・遅延)。だから わざと仕事を散らす仕掛け(負荷分散の損失)を学習に足す。切り替えて偏りを見てください。

5つのステップ、ふりかえり