Anubis導入でAIによるスクレイピング対策

このウェブサイトの管理者は、AI企業による過度なウェブスクレイピングからサーバーを保護するため、Proof-of-Work保護システム「Anubis」を実装した。

このウェブサイトではAnubisというProof-of-Work保護システムが導入されている。Anubisは、AI企業による大規模なウェブスクレイピングがもたらすサーバーダウンとリソースアクセス不可を防ぐために実装されたものである。

Anubisの仕組み

AnubisはHashcashと同様のProof-of-Waveスキームを採用している。Hashcashは電子メールスパム削減を目的として提案されたProof-of-Waveスキームである。Anubisは動作に最新のJavaScript機能を必要とするが、JShelterなどのプラグインはこれらの必須JavaScript機能を無効化する可能性がある。

この記事は元記事の事実のみに基づいて自動生成されました。

筆者の見立て

• 個別規模での追加負荷は無視できるレベルであるが、大規模スクレイパーレベルでは負荷が蓄積してスクレイピングのコストを大幅に増加させると解釈している。
• 今後、ヘッドレスブラウザーのフィンガープリンティングと識別に注力することで、正規ユーザーにはチャレンジProof-of-Pageを提示する必要がなくなると予想している。

出典

Testing to determine if you are a bot! https://openwrt.org/toh/openwrt/one