
Project Glasswingの7か月、保守担当者を圧倒する期待外れの発見
VulnCheckは、Anthropicが開始したProject Glasswingに関連して追跡したCVEの一部が悪用されていると報告した。Anthropicの公開台帳では、発見件数に対して修正件数は限られている。
Anthropicが4月7日に開始したProject Glasswingについて、VulnCheckは開始から7か月の時点で、Anthropicに帰属するCVEを442件追跡したと報告した。VulnCheckのKEVによると、そのうち2件が実際に悪用されている。Anthropicの公開台帳は11月2日の更新時点で、同社の発見件数を37,966件としている。
公開台帳の集計
Anthropicの公開台帳では、発見件数のうち7,349件(19.4%)が公開され、217件が修正済み、1,654件(4.4%)が重複、419件が取り下げとされている。

9月8日と11月2日のスナップショットを比較すると、次のとおり変化している。
| 指標 | 9月8日時点 | 11月2日時点 |
|---|---|---|
| 発見件数 | 26,153件 | 37,966件 |
| 修正件数 | 202件 | 217件 |
| 主張する真陽性率 | 91.4% | 94.2% |
Anthropicが主張する真陽性率は、5月のローンチ時には90.8%で、そのときの発見件数は23,019件だった。
OSS Scannerとcurlへの報告
Anthropicは10月8日のOSS Scannerの公開記事で、2万9,000件を超える候補脆弱性を発見し、そのうち約6,000件を手作業で確認したと述べた。同社は検証作業を保守担当者側へ移し、未検証の報告5,000件を保守担当者に送ったとされる。OSS Scannerについて、Anthropicは完全にモデルが生成したもので、人間によるレビューやトリアージはないと説明している。また、報告の一部は不正確または無効である可能性があるとしている。
Daniel Stenbergは、curlがAnthropicから45件の脆弱性報告を受けたと発表した。このうち1件は中程度で、残りは低程度と評価された。

公開済みの34件のcurl報告の内訳は次のとおりである。
- 19件は脆弱性ではないと判定された
- 6件は低い重大度と確認された
- 9件は評価待ちである
Anthropicは、人間による検証能力がボトルネックになっていると述べている。筆者が9月時点で行った集計では、Claudeが重大または高と評価した台帳上の発見は91.5%、保守担当者が重大または高と評価したものは51.3%だったという。
筆者の見立て
- 217件の修正に対し37,966件の発見という数字は、壊滅的な失敗だと論じている。
- 数字は厳しい評価にしか読めないと論じている。
- 真陽性率の上昇は、トリアージ率に反映されていないフィードバックループによるものだと解釈している。
- 台帳にバグがあり、公開された発見件数が水増しされている可能性を示唆している。
- 発見が放置されるほど、他者が先に発見・修正する可能性が高まると予想している。
- トリアージのボトルネックは解消されず、保守担当者側へ移ったと解釈している。
- Anthropicの主張どおり真陽性率が高ければ、トリアージの移行は問題にならないはずだと示唆している。
- Glasswingのオープンソース施策が行き詰まる中で、セルフサービス型のOSS Scannerを公開したことは理にかなっていると論じている。
- curlの保守担当者が報告を選別している事実は、保守担当者の負担の大きさを物語っていると解釈している。
- curlの結果は、Glasswingが掲げた高・重大度という位置づけを損なうものだと解釈している。
- Project Glasswingは誇大な宣伝キャンペーンだった可能性があるのではないかと疑問を呈している。
- 公表された証拠は発表時の枠組みと一致せず、数字が整合しないと論じている。
- 他のオープンソース保守担当者にも、curlに倣って低・中程度の発見を公開するよう呼びかけている。
この記事は元記事の事実のみに基づいて自動生成されました。
出典
- 媒体名: VulnCheck
- 原題: After 7-months, Glasswing Overwelms Maintainers with Underwhelming Findings | Blog | VulnCheck
- URL: https://www.vulncheck.com/blog/anthropic-glasswing-november-update