Cloudflare、AIボット対策新機能を公開 半田貞治郎

Cloudflare、AIボット対策新機能を公開

こんにちは!半田貞治郎です。

Cloudflareは、AIボットによるウェブサイトのコンテンツスクレイピングを防ぐ新機能「AI Scrapers and Crawlers」を導入しました[1][4][5]。この機能は、無料プランを含むすべてのCloudflareユーザーが利用可能で、ダッシュボードの「Security > Bots」セクションにあるトグルボタンを有効にするだけで簡単に設定できます[1][5]。

近年、生成AIの台頭により、AIモデルのトレーニングに使用されるデータの需要が急増しています[1][2]。そのため、多くのAI企業がインターネット上の情報を大規模に収集しようとしており、一部の企業は許可なくウェブサイトのコンテンツをスクレイピングしています[2][4]。

Cloudflareの調査によると、2024年6月時点で、同社のサービスを利用している上位100万件のウェブサイトのうち約39%にAIボットがアクセスしていましたが、AIボットをブロックする措置をとっていたのは3%未満でした[4]。最もアクティブだったAIボットは、ByteDanceのBytespider、AmazonのAmazonbot、AnthropicのClaudeBot、OpenAIのGPTBotでした[4][5]。

従来、ウェブサイト運営者はrobots.txtファイルを使用してボットのアクセスを制御していましたが、一部のAI企業がこのルールを無視する事例が報告されています[2][5]。Cloudflareの新機能は、グローバルな機械学習モデルを使用して、偽装したボットも検出できるとしています[2]。

この新機能は、ボットの行動パターンを学習し、高精度で検出します。例えば、ユーザーエージェントを偽装してブラウザのふりをしているボットでも、その他の特徴から「ボットらしさ」をスコア化し、一定のスコア以下のアクセスを自動的にブロックします[2]。

Cloudflareは、この機能を継続的に改善していく方針を示しています。また、不正なAIボットの報告システムも用意し、ユーザーからのフィードバックを積極的に受け付けているとしています[2]。

この新機能の導入により、コンテンツ制作者の権利を守り、安全なインターネット環境を維持することが期待されます[5]。AIボットは絶えず進化していますが、Cloudflareの機能も有害なボットの「フィンガープリント」を検知するため、自動的に進化するとしています[4]。

Citations:
[1] https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click
[2] https://www.itmedia.co.jp/news/articles/2407/05/news109.html
[3] https://gihyo.jp/article/2024/07/cloudflare-ai-bot-blocking
[4] https://gigazine.net/news/20240705-cloudflare-block-ai-scraper-and-crawler/
[5] https://xenospectrum.com/cloudflare-announces-ai-scrapers-and-crawlers-a-new-feature-to-prevent-web-scraping-with-ai-bots/