User-Agent文字列からBingbotを検出する
User-Agent文字列からMicrosoftのBingbotクローラーを識別します。Bingbotのバリアント、検証方法、Googlebotとのクロール動作の違いをカバー。
Bot Detection
詳細な説明
User-Agent文字列でのBingbot識別
BingbotはMicrosoft Bingのwebクローラーです。Google検索ほどのシェアはありませんが、多くの市場でBingだけでなくYahoo検索の結果も提供しています。
BingbotのUA文字列
標準Bingbot：
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Evergreen Chromeとしてレンダリングするbingbot：
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36
2019年以降、BingbotはChromiumレンダリングエンジンを採用しました。
検証
本物のBingbotリクエストを検証するには：
- IPの逆引きDNS —
*.search.msn.comに解決される必要がある - ホスト名の正引きDNS — 元のIPに解決される必要がある
ユースケース
SEOプロフェッショナルがBingのクロール動作を監視して、多くの地域でYahoo検索を提供するBing検索結果を最適化します。DevOpsチームはBingbot検出を使用して、Googlebotやその他のクローラーとは別にクロールレート制限を設定します。