OpenAIがSWE-Bench Proの評価ベンチマークに重大な欠陥を指摘、推奨を撤回

OpenAIは広く使われているコーディングベンチマーク「SWE-Bench Pro」の監査を実施し、約30%のタスクに問題があると推定し、同ベンチマークの採用推奨を撤回した。

OpenAIが実施した監査により、SWE-Bench Proの公開分割に含まれる731個のタスクのうち、テストが過度に厳しい、プロンプトが不十分に指定されている、テストカバレッジが低い、プロンプトが誤解を招くという4つのカテゴリーに分類される基本的な設計および汚染の問題が明らかになった。OpenAIのデータポイント分析パイプラインは200個（27.4%）の破損したタスクにフラグを立て、人間による注釈キャンペーンは249個（34.1%）の破損したタスクを特定した。

監査の実施方法と結果

OpenAIは、初期自動フィルタ、人間が監督するエージェントレビュー、および人間による注釈キャンペーンを含む品質保証パイプラインを構築した。5人の経験豊富なソフトウェアエンジニアが、フラグが付けられた各タスクをレビューした。エージェントパイプラインと人間レビュアーは74%のケースで一致したものの、カテゴリーの分類において若干の相違があったとされる。

パフォーマンス向上との乖離

SWE-Bench Proの公開分割におけるフロンティアモデルのパフォーマンスは、初期測定時の23.3%のパス率から8カ月後に80.3%に向上した。この急速な改善は、ベンチマークの設計上の問題を反映している可能性がある。

今後への対応

OpenAIは、評価フローの問題が現在ではより検出しやすくなっているとしており、モデル機能の改善に伴い、プロンプト、テスト、パッチ、トレース、エッジケースをより深く一貫性をもって検査できるようになったと述べている。OpenAIは、より高い基準と現実性を保つため、経験豊富なソフトウェア開発者によって構築された新しいベンチマークの開発を評価コミュニティが進めることを期待している。

この記事は元記事の事実のみに基づいて自動生成されました。

出典

OpenAI『Separating signal from noise in coding evaluations』 https://openai.com/index/separating-signal-from-noise-coding-evaluations/