「Astraは重みを読み書きしてQwenを改善できる」投稿は誤解を招く
本記事は、GPT-6 Astra が Qwen3.5-0.8B の重みを読み書きして改善できるとする投稿について、生の重みのみを用いた実験と Python を用いた実験が混在しており、見出しの主張は示された範囲を超えているとする批評を伝える。
honnibal.dev に掲載された批評記事は、Astra が生の重みを見るだけで Qwen の推論ループを修正できるとする投稿の主張を検討している。筆者は、投稿の要旨が「生の重みを見るだけで」という条件を実験全体に当てはめている一方、その条件で実験を行ったのは一部に限られると指摘している。
投稿の要旨の主張
投稿の要旨は、「Just by looking at the raw weights, GPT-6 Astra can tell what a network was trained to do.」と述べている。要旨はさらに、Astra が Qwen の重みに存在する問題を特定し、その問題が Qwen のモデルカードが警告する推論ループを引き起こしていると主張している。
「Astra identifies an issue in its weights causing reasoning loops that Qwen's own model card warns about, and fixes this by natively editing 0.016% of the weights.」
— 投稿の要旨
要旨は、Astra が Qwen の重みの 0.016% を直接編集し、MATH-500 のスコアを 7.9% から 48.1% に引き上げたと主張している。また、IFEval で 3x の改善が見られ、ゲーム用ネットワークは PPO で 100 million steps 学習したネットワークを上回ったとされる。
生の重みのみを用いた実験
「生の重みを見るだけ」という設定、すなわち生の浮動小数点数を文脈に入れ、ツールを使わず、ネットワークを実行しない設定で行われたのは、次の実験に限られる。
- 実験1、2、4のみがこの設定に該当し、対象となったネットワークの重み数は 17K-172K である。
- 実験2の1回の試行では、重みの 3.5% が変更された。
- 実験4では、Kinetix の car policy の固着を、失敗の記録された1エピソードから修正し、成功率ではなく結果として 0% から 100% に変化した。
- 実験5は重みが0から始まるため、読み取る対象がない。
Python を用いた実験
実語のLLMを含む実験はすべて Python を使用している。Qwen の結果は、最大 50 batches の練習問題をモデルに実行させるものである。重みを編集する実験は実験4と実験8であり、Qwen の結果は投稿の見出しとなる結果である。
筆者の見立て
- Qwen の結果が実際に示しているのは、Astra が人間の ML エンジニアにできるタスクを考案し実行するよう促されうることだと解釈している。
- この手法を生産的に進める方法を見いだすことは「無いわけではない」ものであり、1〜2年前のAIモデルではこれらのタスクすべてに失敗していただろうと論じている。
- Qwen の結果と他の Python を用いた実験は、重みを直接読む実験と同じ投稿や論文に含めるべきではないと論じている。
- ゲーム用ネットワークの作成と大規模モデルの改善の両方を一つの手法で実現できれば、深い能力を意味すると示唆している。
- 単一の手法でそのように検証すれば、重みの「ゲシュタルト」と既存の大規模ネットワークの理解を示すことになるが、ここでは単一の手法ではないため当てはまらないと論じている。
この記事は元記事の事実のみに基づいて自動生成されました。
出典
- 媒体: honnibal.dev
- 原題: The 'Astra can read and write weights to improve Qwen' post is misleading · honnibal.dev
- URL: https://honnibal.dev/blog/astra-read-write-misleading
- (Qwen's own model card、PPO の報道による)