AI クローラーが git.kernel.org のリソースを大量消費
TL;DR: AI クローラーが git.kernel.org に対して日々 600 万件のリクエストを送信し、正規のアクセスよりも多くの CPU リソースをコミットのレンダリングに費やさせている。同サイトは Anubis proof-of-work チャレンジで対抗しているが、クローラーが数学問題を解いて突破している。
git.kernel.org は AI トレーニング用データ取得を目的とした自動クローラーの大量リクエストにより、深刻なインフラストラクチャ負荷に直面している。Linux カーネル開発コミュニティのデジタル資産を管理する同サイトは、5 カ所の地理的に分散したノード上で合計 90 個の CPU コアを有しているが、そのうち 14～16 コアが常時、クローラー向けのコミットレンダリングのみに費やされている。
スクレイピングによる負荷の実態
git.kernel.org への日々のリクエスト数は約 600 万件に達している。このうち 66% は Anubis challenge によって即座にブロックされるが、33% はこの数学的チャレンジを解いてメインサイトにアクセスしている。Konstantin Ryabitsev は「我々は、git クローンを含むすべての正規アクセスよりも、スクレイパー向けにコミットをレンダリングするのに多くの CPU サイクルを費やしている」と述べた。
同サイトの総容量の約 20% が常にスクレイパーへの対応に消費されている状況を考えると、インフラ整備の観点から重大な問題である。スクレイパーが求める対象は linux.git リポジトリ内の約 148 万コミットであり、同サイト上には 922 個のフォークが存在する。1 つのフォークから cgit を経由して生成可能な有効な URL は約 120 万個に上る。
Anubis チャレンジの進化と対抗
Anubis proof-of-work チャレンジは約 1 年前に導入された。当初は SHA256 ハッシュに 4 つのリーディングゼロを要求する難度 4 に設定されていたが、クローラーが数か月以内にこれを解くようになったため、難度は 5 に引き上げられた。その後、クローラーはさらに数か月を経て難度 5 も突破した。
Ryabitsev は「すべてのカーネル.org データは、誰でも請求があれば入手可能である。ただし、それ以上のアクセスには手間がかかるかもしれない」と述べた。同チームは現在、アクセス可能な URL 数を減らし、負荷の高い操作をゲート制限することで、さらなる対抗措置を講じている。
正規トラフィックの割合と課題
大量の仮定を含めた推定では、git.kernel.org トラフィックのうち正規のリクエストは約 2% に過ぎない。どのリクエストがボットであり、どのリクエストが実際の人間なのかを確実に判別することは不可能である。ただし、古いフォークの古いコミットをリクエストしている場合、実際の開発者である可能性は低いとみられる。
Ryabitsev は「我々はこれを同じくらい嫌っているが、この時点では必要性だ」とコメントした。インフラ側の戦略は機能の無効化と段階的なアクセス制限であり、開発者コミュニティへの影響を最小限に抑えながら、無差別なスクレイピングに対抗することを目指している。
筆者の見立て
- 「AI バブルが崩裂して、突然モデル訓練を試みる企業が大幅に減少する可能性を示唆している」
- 「クローラーが数学的に非効率な手法でデータを消費するのをやめるようになる可能性を予想している」
- 「この背景負荷によって、インフラストラクチャ容量の一部が恒久的に無駄になる状況が生まれていると解釈している」
- 「LLM が生成したコンテンツで学習した LLM は、デジタル・プリオン病に相当する影響を受けると論じている」
- 「AI 生成コンテンツを学習データとして用いることは、モデル品質にとって根本的に問題があると論じている」
この記事は元記事の事実のみに基づいて自動生成されました。
出典
Konstantin Ryabitsev, "Creepy crawlies", https://people.kernel.org/monsieuricon/creepy-crawlies