ウェブサイトトラフィックの99%がボットである実態

アメリカの慈善家データベース「PatronView」の運営者が、ウェブサイトへのアクセスの大部分がボットによるものであることを詳細に記録した。中国発のボットネット攻撃、AI企業のクローラー、住宅用プロキシネットワークなど、複数の脅威に直面し、Cloudflareのファイアウォールルールで対抗している。

4月22日、PatronViewは中国のボットから1日で360万件のリクエストを受け取った。これは361,844個のユニークIPアドレスから発信され、その大半が中国に所在していた。Cloudflareの Managed Challenge は最初の10時間で118万件のリクエストをブロックした。サイト運営者は中国、ベトナム、シンガポールをCloudflareエッジで国単位でブロックした。

中国からのボット攻撃

AIクローラーによる過度なアクセス

Anthropic の Claude-SearchBot は1週間で420,680ページをリクエストしたが、同じ週にPatronViewに送信した人間のユーザーはわずか12人だった。ボットトラフィックに4.63GBの帯域幅を消費した一方、12人の人間のユーザーには175KBしか提供されなかった。サイト運営者の計測では、Claude-SearchBot の訪問者1人あたり35,000ページのクロール比率が記録された。これはCloudflareが報告する3,000:1より悪い数値である。

Amazonの Amzn-SearchBot はピーク時に1日117,000ページをリクエストしたが、一度も訪問者を送信しなかった。サイト運営者はClaudeとAmazonのクローラーをファイアウォールルールでブロックした結果、Claude-SearchBot は1日60,000リクエストから約25回の試行に低下した。

Claude-SearchBotのアクセス比率

ボット対策の効果と課題

PatronViewは150万個の個別プロフィールページを保有し、IRS 990フォーム、公開寄付リスト、年次報告書から構築されている。公開週に同サイトは250万件のリクエストを受け、128万ページをサーバーで処理したが、アナリティクスに記録された閲覧数はわずか5,977ページビューだった。統計に表示される1ページロードごとに、サーバーで検知されない214ページの読み込みが発生していた。

Cloudflareが発行した106,437件のチャレンジのうち、ボットが解答したのはわずか252件で、解答率は0.24%であった。正規の検索トラフィックは米国が95.9%、カナダが1.3%を占める。一方、11月のボットネット攻撃では4,000件のアクセスが発生し、99%のバウンスレートと参照元なしの特性を示した。

Cloudflareの JavaScript Detections スクリプトはミッドレンジ携帯電話で2,875ミリ秒の処理時間を要し、モバイル Lighthouse スコアを58に低下させた。スクリプトを無効にするとスコアは99に向上した。

セキュリティルールの実装と継続的な脅威

サイト運営者は Semrush、Ahrefs、MJ12bot、DotBot、BLEXBot など12のSEOクローラーをユーザーエージェントでブロックしている。7月には住宅用プロキシを使用するボットネットが現れ、数千の異なるIPアドレスから各アクセスがレート制限下に留まる手法を使用した。

Cloudflareの WAF ルールは AWS、Azure、Google Cloud、Oracle、Alibaba、DigitalOcean など46の異なるASNからのデータセンターリクエストにチャレンジを発行している。Firefox 115 ESR は古いブラウザチャレンジルールから除外され、IPごとの制限は10秒あたり30ページリクエストに設定されている。

24時間の実装後、Cloudflareは46,729件のリクエストをブロックし、63,969件のチャレンジを発行、そのうち552件が解答された。同サイトの通常の月間費用は約90ドルだが、ボット攻撃の悪影響を受けた月は500%増加した。サイト運営者は Cloudflare Pro プラン（月額25ドル）を使用している。

トラフィック分析データ

業界の声

「ロシアをリストに追加することを忘れずに」と MarketBeat の Matt Paulson は述べた。Fathom Analytics の Jack Ellis は「過去6ヶ月間、中国からの大量のスパムトラフィックを目撃した。顧客らは中国トラフィックが完全に削減されたと報告している」と指摘した。

Jeremy Brandt は「Cloudflareでの国ブロックリストは非常に広範である」と述べた。一方、Chris Lewicki は「対抗措置が自分の生活に複雑さをもたらすため、戦うことをやめた」とコメントし、Rodrigo Rocco は「最近は深刻で、何千もの住宅用IPを使用し、それぞれ1回の呼び出しのみで、停止することが非常に困難である」と語った。

筆者の見立て

「対策ルールの詳細を公開することで、より簡単に回避されるようになる可能性を認識している」と解釈している。
「スクレイピング対策の本当の解決策は経済的である」と主張している。
「スクレイピングが悪化し続けるのは、スクレイパーのコストが低下し続けているからである」と分析している。
「スクレイパーのコストが防御手段の改善より速く低下したため、スクレイピングが悪化し続けている」と解釈している。
「この状況は見かけ上、whack-a-mole（やられたらやり返すゲーム）のように感じられる」と述べている。
「Google、Bing、DuckDuckGo がサイトをクロールして新規読者を送信することを望む一方で、他の企業による採掘行為は許可したくないというジレンマが存在する」と論じている。
「住宅用ボットネットはすでに CAPTCHA を解答し、実在するブラウザと同一であり、ネットワークレベルでそれらをブロックすることは設計上不可能である」と解釈している。
「CAPTCHA スクリプトのコストがサイト全体の運営費を超えていた」と指摘している。
「Amazon に月350万ページを公正な料金で販売することに喜んで応じるだろう」と述べている。

この記事は元記事の事実のみに基づいて自動生成されました。

出典

PatronView「99% of My Website Traffic Is Bots | PatronView」https://patronview.com/news/99-percent-of-my-website-traffic-is-bots/