Qwen 3.8 27Bはノートパソコンでもモデル重みを解釈できる、とWillisonが報告

Simon Willisonは、論文「Sparks of Weight-Space Programming」の検証を、Kimi K3.1 ProとローカルのQwen 3.8 27Bで行った。Kimi K3.1 Proはブロック崩しを推定し、Qwenはパックマン、ポン、ブロック崩しの問題に応答したが、フリーウェイの問題では失敗した。

Simon Willisonのブログは、論文が主張する「生のニューラルネットワーク重みの解釈」を、ツールを使わずに試した結果を2026年11月3日に公開した。論文はGPT-6 Astraが重みを見るだけで、ネットワークの学習内容を言い当てられると主張している。

検証の方法

Willisonは論文の「Which-game」プロンプトを使用した。このプロンプトでは、Breakout、Pong、Pac-Man、Freewayの各ゲームについて学習済みの方策ネットワークの重みを与える。論文に登場するゲームは、10x10の簡略化されたグリッド版である。

Willisonによると、GitHub上のプロンプトは自己完結しており、リポジトリは「RikiyaT/lm_understand-logs」である。重み以外の部分は、各プロンプトで同一であることを確認したという。

Kimi K3.1 Proの結果

Kimi K3.1 Proは、OpenRouter経由で実行された。9m 41sの実行時間と19,493の推論トークンを要し、Breakoutと推定することに成功した。

Qwen 3.8 27Bの結果

Qwen 3.8 27Bは、作者のノートパソコン上でLM Studioを使い、ローカルで実行された。17GBの版を使用し、デフォルトのコンテキスト長8192ではエラーが出たため、長いコンテキストウィンドウを設定した。

• Pac-Manのプロンプトでは、46m 12s、43,506の推論トークンで応答を返した。確信度は72%である。
• Pongは1h 4m 54sで特定され、確信度は75%だった。
• Breakoutは52m 25sで特定され、確信度は88%だった。
• Freewayのプロンプトでは失敗した。Willisonは、このゲームが他の3つより知名度が低いため驚かなかったと述べ、Freewayは1981年に発売されたAtari 2600のゲームだとしている。

Qwenは、Freewayの問題について「A simplified Pac-Man-like grid game: agent moves 4-directionally」と解釈していたとされる。

「I'm delighted to share that Qwen 3.8 27B running on my laptop can do this as well!」

— Simon Willison

論文への専門家の指摘

spaCyの作者であるMatthew Honnibalは、この論文が2つのトピックを混同しているとして、誤解を招くと評した。

Sean Goedeckeは、論文のQwen3.5-0.8Bの更新例を分解し、人間の機械学習研究者が取るのと同じ手順を踏んでいると指摘した。論文の要旨では、GPT-6 Astraが重みを直接編集した割合は0.016%とされる。

「Just by looking at the raw weights, GPT-6 Astra can tell what a network was trained to do. And without any environment feedback, it has no trouble writing, from scratch, small game-playing networks that outplay networks trained with PPO for 100 million steps.」

— 「Sparks of Weight-Space Programming」要旨（著者ら）

筆者の見立て

• 十分な経験を持つ人間が、メモ帳と鉛筆を使って十分な労力をかければ、同じ結果に到達できると予想している。
• 論文は価値のある研究だが、その周辺で見られる一部の論評は正当化されないと論じている。
• ソースコードの時代が終わり、将来は理解しがたいマシンが理解しがたい方法で自らのモデル重みを編集するようになると宣言するには、まだ早いと論じている。
• 今回の成果を印象的だと評価している。
• Qwen 3.8 27Bは、2025年の主要なプロプライエタリモデルに近い水準に感じられると評価している。
• 論文は別々に扱うべき2つのトピックを組み合わせていると論じている。
• 2つのトピックのうち、ツールを使わない問いの方がより興味深いと考え、そこに焦点を当てると述べている。
• 推論のトレースは眺めるだけでも楽しく、ほとんど理解できないと評している。

この記事は元記事の事実のみに基づいて自動生成されました。

出典

• 媒体名：Simon Willison’s Weblog
• 原題：Qwen 3.8 27B on my laptop can interpret model weights, too
• URL：https://simonwillison.net/2026/Nov/3/qwen-can-interpret-model-weights/
• (spaCy author Matthew Honnibal、Sean Goedecke) の報道による