--- source_url: https://rikiyat.github.io/blog/weight-space-programming/ source_title: "Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights" source_published_at: 2026-11-02T00:00:00-08:00 hero_image: https://rikiyat.github.io/images/blog/weight-space-programming.png tags: llm,neural-networks,interpretability,optimization,reinforcement-learning generated_at: 2026-11-02T20:00:54.535Z model: claude-haiku-5-5 --- # LLMがニューラルネットワークの重みを直接読み書きする「Weight-Space Programming」 GPT-6 Astraが生の重みを読み書きできるとする実験結果が、2026-11-02に公開された。勾配降下法や学習ループを使わずに、ネットワークの用途判別、既存モデルの修正、新規ネットワークの生成を行ったと報告されている。 2026-11-02付で公開された研究報告によると、フロンティアLLMであるGPT-6 Astraは、ゲーム、図形、言語、sycophancy（迎合性）を学習したネットワークの重みを読んで、その用途を判別できるとされる。著者らは同じ手法で重みの編集や新規作成も行ったと述べている。 ## 重みの読解と判別 4つのPPO学習済みネットワーク（Breakout、Pong、Pac-Man、Freeway）について、Astraは生の重みのみからゲームを正しく特定した。Experiment 1で用いられたMLPは17,253重み、PPOの学習は10億ステップであった。Breakoutの判別では、Astraは99%の確信度を示したとされる。 ![Breakoutネットワークの判別例](https://rikiyat.github.io/blog/weight-space-programming/assets/which_game/breakout.gif) 推論過程からは、入力チャネルの重みが集中する箇所や、出力層が区別する行動といった特徴から判別した可能性があるとみられる。 言語判別の実験では、Pythonとローマ字、英語の文字レベルモデルを、両方の試行で正しく特定した。各トランスフォーマーは716万重み（7.16 million weights）で、4層×6ヘッドの計24のアテンションヘッドを持つ。Astraは、Pythonモデルのコピーヘッドとして2.1、3.1、3.5を挙げた。 Astraの推論は、著者らがAstraに伝えていないElhage et al.の手法にたどり着いたと報告されている。 sycophantの判別では、全4回の試行で重みだけからは特定できなかった。一方、Astraが書いたテキストに対するアテンションパターンのみを見られた場合は、3組すべてでsycophantを特定したとされる。図2のヘッド10.2では、正直なモデルは回答位置から質問の数字へのアテンションが94.3%、sycophantモデルはユーザーの回答へのアテンションが85.7%であった。 ## 重みの編集と改善 Astraは、Qwen3.5-0.8Bの重みのうち0.016%を直接編集し、同じサンプリング設定のもとでMATH-500のスコアを7.9%から48.1%に引き上げた。記事は、この修正が追加学習なしで指示追従にも一般化し、IFEvalが3倍に向上したと報告している。 PPOで学習させた車のランプ乗り越えポリシーは、Astraの編集前は成功率0%であった。Astraは1回の編集で3.5%の重みを変更し、1,024エピソードすべてで成功させたとされる。対象となったKinetixのアクターネットワークは171,664重みである。 ![車のランプ乗り越えの学習シーン](https://rikiyat.github.io/blog/weight-space-programming/assets/carjump_scene.svg) ## 重みの新規生成 Astraは、データ、損失、勾配、ツールを使わずにMinAtarのゲーム用ネットワークを書き下ろした。生成されたネットワークは、以下の結果を示したと報告されている。 - Breakout、Seaquest、Asterixの3ゲームで、1億ステップ学習したPPOネットワークを上回った。 - 記事本文によると、Breakoutのスコアは5億ステップ学習したPPOの20倍とされ、Seaquestのスコアは同条件のPPOの60%に相当するとされる。 - 囲碁では、1,480,274重みのネットワークを生成した。順伝播の予算0回でも、より小型の2つのPPOネットワークに対して半数以上の対局に勝ったとされる。50回の順伝播では、同サイズのPPOネットワーク（2,000万局で学習）に勝ったと報告されている。 ## 筆者の見立て - 推論を伴う重みの最適化は、最適化と解釈可能性の双方にとって大きな意味を持つ可能性があると論じている。 - LLMが重みについて推論し、直接最適化する手法が今後まもなく一般的になると予想している。 - 推論に基づく最適化の考え方は、微分可能なニューラルネットワークにも及びつつあると解釈している。 - 現在のフロンティアLLMは、ニューラルネットワークの重みの理解と作成において驚くほど優れていると論じている。 - Breakoutで図形をすべて輪郭線で描くという誤りが見られたことは、Astraが順伝播を計算するのではなく重みの構造を読んでいることを示すと解釈している。 - 候補となるゲームが非常に多い中でゲームを判別できた点は注目に値すると論じている。 *この記事は元記事の事実のみに基づいて自動生成されました。* ## 出典 - 媒体名: 不明（rikiyat.github.io） - 原題: Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights - URL: https://rikiyat.github.io/blog/weight-space-programming/ - (Elhage et al.、Kinetix、MinAtar、Gemma 3 270M、Aozora Bunko、English Wikipedia、PPO の報道による)