量子化

言語モデルは、重みと呼ばれる数十億の数値の集まりです。訓練中は、通常16ビットか32ビットの浮動小数点で保持されます。量子化は、それを8ビットや4ビットの整数のような粗い格子に丸めます。色数を減らして保存した写真が小さくなるのと同じです。ビット数を半分にすると、必要なメモリもおよそ半分になり、それがモデルを1枚のグラフィックスカード、ノートパソコン、スマートフォンのどれに載せられるかを決めます。動かすデータが少なければ生成も速くなりがちです。時間の多くが、メモリから重みを読み出すことに使われるからです。

方法はいくつかあります。訓練後の量子化は、完成したモデルを変換するもので、GPTQ や AWQ、ローカル実行環境で使われる GGUF 形式などの方式があります。量子化を意識した訓練は、丸めを訓練に組み込み、損失がより小さくなります。敏感な層をより高い精度のままにする方式もあります。8ビットでは、違いにはたいてい気づきにくく、4ビットでは、ほとんどのモデルは使えますが、数学、長い推論、珍しい言語、正確なコードでつまずくことがあります。それ以下では品質が急速に落ちます。

量子化は、モデルを動かす費用を減らす方法の一つです。小さなモデルを訓練する蒸留や、モデルの一部だけを動かす混合エキスパートも、その仲間です。量子化された大きなモデルは、ファイルの大きさが同じなら、完全精度の小さなモデルより優れていることが多く、これがローカルでモデルを動かすときに量子化に頼る理由です。表示はいつも明確とは限らないので、提供している精度を公開する提供元は、比べる材料をくれます。実際のテストは簡単にできます。同じ難しい質問を二つのバージョンに尋ね、長い出力を一行ずつ比べ、繰り返されるフレーズ、壊れた構文、計算のミスに注意します。パープレキシティのような指標は、モデルが文章にどれだけ驚くかを測り、量子化後に上がれば、人が気づく前から劣化の早期警告になります。

NeverNo のカタログは、モデルがどの数値精度で提供されているかを述べていないので、表示ではなく結果から判断してください。各モデルについて載っているのは、提供元、プラン、プライベートか匿名化か、コンテキストの長さ、画像を読み取るか、推論するかです。

オープンウェイトのモデル、つまりプライベートモデルは、量子化されたバージョンが一般的で、公開して共有される系統です。Qwen 3.5 35B は Alibaba の無料のプライベートモデルで、コンテキストは128,000トークン、画像を読み取り、推論するかどうかを選べます。プライベートとは、保存しない提供元を選んで提供されるという意味で、透明性のページは、NeverNo が提供元のサーバーを検査できないことをはっきり述べています。