マルチエージェントで再帰的自己改善を検証、「MASS」の手法と結果

TL;DR: Sakana AIは、単一の共有言語モデルを実行者・最適化器・評価器として使う学習ループ「MASS」を紹介した。Qwen3.6-27Bを出発点に2ラウンドの学習を行い、公開ベンチマークで基準モデルを上回る結果が示されたとされる。

Sakana AIは、マルチエージェントのワークフローと集合知を自己教師あり信号として用いる再帰的自己改善の手法「Multi-Agent Self-Supervision（MASS）」を紹介した。MASSでは、同一のモデルが実行者、最適化器、評価器を兼ねる。

手法の仕組み

MASSは、同じモデルを実行者・最適化器・評価器として用いる。内側のループでは、重みを固定したまま、評価器のフィードバックを使って最良のチームワークフローを探索する。

外側のループでは、内側で得られた自己評価上の最良チームの実行履歴を用いて、共有モデルをLoRAでファインチューニングする。著者らはQwen3.6-27Bを出発点としてMASSを2ラウンド実施し、coding-agent環境であるqwen-codeで検証したとしている。

合成リサーチスイートは12タスクで構成され、金融、ロボティクス、薬学の各分野を含む。このうち9タスクが学習用、3タスクが評価用に分けられている。

評価結果

合成テストタスクでの基準モデルに対する勝率は、1ラウンド後で53.9%、2ラウンド後で69.9%だった。学習タスクでは、1ラウンド後65.6%、2ラウンド後82.5%である。

• 公開ベンチマーク（MLR-Bench、DSBench、ScienceAgentBench、AstaBench）では、2ラウンド後の出力トークンあたりのスコアが基準モデルの1.2–1.6×となった。
• Terminal-Bench 2.0では0.96×、SWE-bench Verifiedでは0.94×であった。
• 出力トークンあたりのスコアの向上は、学習タスクに類似した4つの研究系ベンチマークで最も大きいとされ、転移は不均一と説明されている。

評価の正当性については、Claude Opus 4.8とGPT-5.5による判定がMASSから切り離された状態で進捗の測定に使われたとされる。評価器と外部判定者の一致率は、最初のサイクルで73%、3サイクル後で93%である。

安全性に関する指摘

論文は、弱点の特定だけでは制御は成立しないとして、次のように述べている。

「Identifying a weakness alone does not establish control; we must also show that we can detect its consequences and intervene effectively as the system changes.」

また、安全性上の懸念として次の点が挙げられている。

「The safety concern is that the same weakness can compromise both the system's behavior and the mechanism meant to correct it.」

筆者の見立て

• AIそのものが、人類の蓄積された知識を超えるための利用可能な最良の最適化器・評価器になりうると予想している。
• 非検証可能なタスクにおいて、フロンティアで最も有能な監督者はモデル自身になりうると予想している。
• MASSは、チームの集合的経験を共有モデルに蒸留することで、RSIの自己教師あり信号を提供すると解釈している。
• マルチエージェントの軌跡は、RSIにおいて単一エージェントの軌跡より効果的になりうると解釈し、その価値はテスト時スケーリングを超えると解釈している。
• タスク解決の例は、次ラウンドの学習データの作成と選別に用いられる能力も向上させうると解釈している。
• RSIのボトルネックは評価器ではなく最適化器でありうると示唆し、限られた予算では評価器より最適化器を優先する必要があるかもしれないと示唆している。
• LLM最適化器は、テキスト空間での探索を安定させるために学習率スケジューラに相当するものが必要かもしれないと予想している。
• 共有された盲点は、再帰的自己改善のアキレス腱になりうると解釈している。
• 共有された盲点を理解することは、より高性能なシステムを制御する上で重要であり、システム自身の判断への依存が最も正当化されない箇所を明らかにすると解釈している。
• マルチエージェントのワークフロー最適化は、そのハーネス空間の基底ベクトルを発見することに似ていると解釈している。
• 人間もその欠陥を認識するのに苦労する場合、逐次的な更新によって欠陥が強化される可能性があると予想している。

この記事は元記事の事実のみに基づいて自動生成されました。

出典

• 媒体名: Sakana AI
• 元タイトル: Multi-Agent Self-Supervision (MASS)
• URL: https://pub.sakana.ai/mass/
• (Tennyson's Ulysses、Qwen3.6-27B の報道による)