
Ricursive Intelligence、TerminalBench 2.1で80.5を達成 計算効率を重視
Ricursive Intelligenceは、計算効率を重視したSFTおよびRLのレシピ改善と独自の合成データ整備を進め、少ないロールアウト数でTerminalBenchの評価において高いスコアに到達したと発表した。
Ricursive Intelligenceは、SFTおよびRLのレシピを計算効率に重点を置いて改善し、TerminalBench 2.1で80.5のスコアを1.4Mロールアウトで達成したと発表した。
学習レシピの改善
同社は、力任せの強化学習の拡大ではなく、SFTとRLのレシピを計算効率に重点を置いて反復改善したとしている。事後学習データは購入せず、独自の合成データパイプライン、品質フィルタリング、カバレッジ指標を構築した。
強化学習の手法
同社の混合RLレシピは、以下の要素で構成される。
- 打ち切り重要度サンプリング
- スコア中心化
- 線形の長さペナルティ(高品質な長期タスク向けの合成環境と併用)
RLタスクはモデルの能力に合わせて調整され、モデルの性能向上に伴ってより難しいタスクが継続的に追加された。
ベンチマーク結果
同社によると、TerminalBench 2.1で80.5のスコアに到達し、そのロールアウト数は1.4Mであった。同社は、これが先行するSOTAであるReflection Beamと比べて約70x少ないロールアウト数に相当すると述べている。
この記事は元記事の事実のみに基づいて自動生成されました。
出典
- 媒体名: Ricursive Intelligence
- 原題: Recursive Self-Improvement via AI for Chip Design & Chip Design for AI - Ricursive Intelligence
- URL: https://www.ricursive.com/ripple
- (Reflection Beam) の報道による