1 ビットモデルがパレートフロンティアを動かした

最速の推論は、ネットワークホップを挟まず、データのすぐそばで実行する推論です。しかし、使う価値のあるモデルは、データの置き場所には収まらないことがほとんどです。8B モデルは FP16 で 16 GB あります。4 ビットに量子化しても、エッジのハードウェアにはぎりぎり収まる程度です。

PrismML は 2026 年 3 月 31 日、1 ビット言語モデルの Bonsai ファミリーとともにステルス状態を脱しました。80 億パラメーターのモデルが 1.15 GB に収まり、FP16 より 8 倍速くトークンを生成し、フル精度のモデルに匹敵するスコアを出します。有用な推論へ至る最も低レイテンシな経路が、大きく短くなりました。

1 ビットが長年、到達できない目標だった理由

重みを二値化したニューラルネットワークは、数十年にわたり劇的な効率向上を約束してきました。しかし実際には、期待を裏切る試みが数多くありました。問題は、1 ビットモデルが流暢な文章を作れないことではありません。複数段階の推論、ツール利用、境界的なケースで脆くなることです。予測できない失敗をするモデルは、採用し続けられません。

従来の 1 ビットに近い手法には、厳選した較正用データセット、レイヤーごとの特別な処理、専用ランタイムなど、導入を妨げる負担もありました。Caltech の独自知的財産を基にする PrismML は、異なる方法を取ります。レイヤーごとに場当たり的なヒューリスティクスを適用せず、Bonsai は数学的根拠を持つ圧縮フレームワークを使います。大胆に量子化してもモデルの挙動を保つよう設計されています。

すべてを 1 ビットにするとはどういうことか

一部の「1 ビットモデル」は、埋め込みやアテンションヘッドを高い精度のまま残します。この例外は品質を保ちますが、効率面の利点を薄めます。Bonsai 8B はすべてに 1 ビット精度を適用します。埋め込み、アテンションの射影、MLP の射影、LM ヘッドが対象です。各重みに符号ビットを一つ、128 個の重みに共有の FP16 スケールを一つ持たせます。実効的な保存量は重みあたり 1.125 ビットで、FP16 比 14.2 倍の圧縮率になります。

これが重要なのは、小さなバッチでの LLM 推論では、メモリ帯域幅、特にトークン生成中に重みをメモリから動かす速度がボトルネックだからです。重みを 1 ビットにすることは、その主要な制約に直接働きかけます。

信頼を裏付ける数値

PrismML は、H100 GPU 上の同一インフラを使い、Bonsai 8B を 6B～9B の 11 モデルと比較しました。平均スコアは、知識（MMLU-Redux）、推論（MuSR）、数学（GSM8K）、コーディング（HumanEval+）、指示追従（IFEval）、ツール呼び出し（BFCLv3）の六つのベンチマークにまたがります。

1.15 GB のモデルが Llama 3.1 8B を上回り、サイズが 14 倍のモデルとの差も 0.5 ポイント以内です。実機では、M4 Pro で 131 tok/s（FP16 比 8.4 倍）、iPhone 17 Pro Max で 44 tok/s を生成し、Apple Silicon でのトークンあたりのエネルギー消費は 5.6 分の 1 です。

ホワイトペーパーでは、「知能密度」を GB あたりの知能として定義し、レート歪み理論で定式化しています。Bonsai 8B のスコアは 1.060/GB で、次に近い従来モデルは 0.549 です。Bonsai ファミリーは、効率と性能のトレードオフを少し改善するだけでなく、定義し直しています。

何が可能になるか

8B モデルが 1.15 GB に収まると、導入上の制約が根本から変わります。医療機器や現場の機器は、クラウドへの往復なしにローカルで推論できます。データ所在地の要件を持つ企業も、汎用ハードウェアで運用できます。データセンターでは、より低いエネルギーコストで、GPU ごとに多くのモデルを配置できます。Bonsai は Samsung S25 Ultra でも動作します。この端末には、4 ビットの 8B モデルさえ収まりません。

Google の Core ML/AI の VP of Engineering、Bill Jia は次のように述べています。「高度なモデルが制約のあるデバイスで動けば、システム設計全体が変わります。モデルレベルの効率が、インフラ全体で積み重なります。」

PrismML は限界についても明示しています。結果は、ネイティブな 1 ビットチップではなく、ソフトウェアとカーネルを最適化した汎用ハードウェアで得たものです。ただし手法はアーキテクチャに依存せず、ロードマップは Transformer 以外にも広がります。すべて Apache 2.0 で公開され、商用利用にも制限はありません。

もはや問うべきなのは、1 ビットモデルが機能するかではなく、機能するなら何を作るかです。

1 ビットモデルは問題を小さくします。それでも、結果を決めるのはインフラです。

低レイテンシの推論システムを開発している方は、Momento にご相談ください。