Qwen 3.5 4Bの重みにRISC-V CPUを組み込んだ「Qwenputer」
Divyansh Agrawal氏は、標準のQwen 3.5 4Bの重みに32ビットのRISC-V CPUを組み込んだ「Qwenputer」を、2026年10月22日付のブログ記事で紹介した。このCPUはモデルのGated DeltaNet層をRAMとして使い、外部ツールを使わずに演算やC・MicroPythonコードを実行できる。
Qwenputerは、標準のQwen 3.5 4Bに1つの要素を加えたモデルである。その要素は、重みに埋め込まれたRISC-V CPUで、モデル自身のGated DeltaNet注意層をRAMとして使う。記事によると、Qwenputerはプラグイン、ツール、サンドボックスのいずれでもないという。
仕組みと動作
Qwenputerが組み込むCPUは、RV32IM、Zba拡張、小規模なbignumユニットを備えた32ビットのRISC-Vコアである。このCPUは、Qwenの32層の前に11層を占める。
CPUは、Qwen3-NextとQwen 3.5で注意層の3 out of 4に使われているGated DeltaNetを、RAMとして利用する。Gated DeltaNetは線形RNNである。CPUはモデルのforward pass内で動作し、Qwen 3.5 4Bは後処理の学習なしでこのCPUを利用できる。元のQwenの重みはそのまま残り、計算用の重みは追加の次元と層として加えられている。
CPUは公式のriscv-testsに合格し、プログラムの出力はqemuと一致した。また、18 million instructionsを自由実行で誤りなく動作させたという。ゲート値0.9の例では、状態がトークンごとにわずかに薄れる。ゲート値1は何も薄れないことを、beta値1は古い値が完全に置き換えられることを意味する。
Schlag et al. (2021) は、デルタ則を用いた線形注意が連想メモリ、すなわち高速重みとして機能することを示している。
ベンチマーク結果
評価はDeepMindの算術セットとNUPAの長整数演算で行われた。Qwenputerは、div_bigで97.5%、mul_bigで97.5%、mul_div_multiple_longerで100%、add_or_sub_bigで97.5%を記録した。
| 課題セット | Qwenputer | Pythonツール併用 | ベースQwen |
|---|---|---|---|
| div_big | 97.5% | 95% | 72.5% |
| mul_big | 97.5% | 100% | 55% |
| mul_div_multiple_longer | 100% | 97.5% | 90% |
| add_or_sub_big | 97.5% | 97.5% | 87.5% |
NUPAの長整数演算では、Qwenputerの正答率が48.6%から100%に向上した。この100%は、Qwenに Python ツールを与えた場合と同じ水準である。
出力の検証では、約230,000のCPU出力位置を参照マシンでリプレイし、不一致は0件だった。通常テキストの発散は、ベースQwenに対してKL 6e-4で、ノイズフロアの5e-4の範囲内に収まる。
実験的ファイルシステムと制約
実験的なファイルシステムは、モデル内でput、append、get、list、deleteの各操作をツール呼び出しなしで提供する。最大512ファイル、約53,000トークンのテキストを保持し、ファイル名のハッシュ用に1,024 slotsのディレクトリを備える。
- チャイン化されたファイルテキストは、1行あたりeight tokens per rowで保存される。ファイルの再検索にはtwo or three stepsほどかかるという。
- チャット間で変化した事実の正答率は90%で、古いチャットを貼り付け直した場合の正答率は30%だった。
- メモリツールとの比較では、ファイルシステムの正答率が83.3%だった。Python実行のメモリツールは78.9%である。
Qwenputerを起動するには小規模なドライバ（RvChat）が必要で、現時点では plain generate() 呼び出しでは動作しない。チェックポイントは18.8 GBで、ベースQwenのほぼ2倍にあたるが、大部分はゼロパディングである。モデルは単一の24 GB GPUで動作し、ベンチマークに使用したバッチ実行器はL4上で約3,200 CPU tokens per secondを実行する。コードとモデルへのリンクは、GitHub、Hugging Face、ModelScopeに掲載されている。
筆者の見立て
- 筆者は、Qwenputerを「かなり面白い実験的モデル」だと論じている。
- 筆者は、学習を伴わずコンパイラが重みを直接設定するため、動作するCPUを重みに組み込めたと解釈している。
- 筆者は、GDN層が通常のアテンションをRAMとして使う場合よりはるかに低コストで、RAMとして機能しうることを示唆している。
- 筆者は、本番モデル内でデルタ則のメモリを正確かつアドレス指定可能にした点が新しいと解釈している。
- 筆者は、読者の主な関心が「本当に動くのか」になると予想している。
- 筆者は、RNN層を正確に制御できるため、QwenputerはAI安全性研究の優れたテストベッドになると論じている。
- 筆者は、モデル上でCPUを動かすことは安価で高速なRAMを得る方法だと論じている。
この記事は元記事の事実のみに基づいて自動生成されました。
出典
Divyansh Agrawal「Qwenputer: a fully functioning, deterministic RISC-V CPU inside Qwen3.5」https://