MoE（混合エキスパート）

密なモデルでは、すべての重みがすべてのトークンに関わります。混合エキスパートモデルでは、順伝播のブロックが、たとえば数十から数百のエキスパートの集まりに置き換えられ、学習された小さなルーターが、各層で各トークンにつき数個を選びます。エキスパートは、弁護士や化学者のようなきれいな専門家になるわけではありません。トークンのパターンに特化する傾向があり、その分担はルーターが訓練中に学びます。そのため、公表される大きさは二通り示されます。総パラメータ数と、トークンごとに使われる有効パラメータ数です。

利点は、はるかに大きな密なモデルに近い品質を、トークンあたりの計算のごく一部で得られることで、生成を速く安くできます。代償も現実にあります。すべてのエキスパートは依然としてメモリに置く必要があるため、必要なメモリは有効数ではなく総数に従います。一部のエキスパートが過負荷になり、他が遊ばないよう、ルーティングのバランスを保たなければならず、訓練と提供はより複雑になります。ファインチューニングも難しくなり、量子化がこうしたモデルをメモリに収めるために併用されることがよくあります。

35Bや400B といった数字を、一回の返信が使う計算量と読まないでください。混合エキスパートモデルでは、二つの数字を尋ねてください。有効パラメータ数は速度と費用の目安になり、総パラメータ数は知識の容量とメモリの目安になります。最近のオープンウェイトモデルの多くと、クローズドなモデルの一部はこの方式で作られていますが、開発元が常にそう述べるとは限りません。技術者は、負荷分散の損失、容量の上限、すべてのトークンが通る共有エキスパートについても語りますが、どれもルーティングを安定させるためにあります。オープンなモデルでは、こうした設計の選択は技術報告書と設定ファイルに書かれており、エキスパートの数、トークンごとに選ばれる数、それぞれの大きさが載っています。

NeverNo のカタログは、どのモデルが混合エキスパートかを述べていないので、特定のモデルについては、開発元自身の文書を確認してください。カタログが述べているのは実用的なことです。提供元、プラン、プライベートか匿名化か、コンテキストの長さ、画像を読み取るか、推論するかです。

プライベートモデルは、DeepSeek、GLM、Qwen、Mistral のようなオープンウェイトの系統から来ています。Qwen 3.5 35B は Alibaba の無料のモデルで、コンテキストは128,000トークン、画像を読み取り、推論するかどうかを選べます。プライベートとは、保存しない提供元を選んで提供されるという意味で、透明性のページは、NeverNo が提供元のサーバーを検査できないことをはっきり述べています。