User-Agentからソーシャルメディアボットを検出する
User-Agent文字列からソーシャルメディアクローラー(Facebook、Twitter、LinkedIn)を識別します。ソーシャルプラットフォームがOpen GraphやTwitter Cardデータを取得する方法を理解。
Advanced
詳細な説明
ソーシャルメディアクローラーの検出
ソーシャルメディアプラットフォームは、リンクプレビューを生成するためにページメタデータ、Open Graphタグ、Twitter Cardsを取得する専用ボットを使用します。
Facebookクローラー
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
Twitter/Xクローラー
Twitterbot/1.0
LinkedInクローラー
LinkedInBot/1.0 (compatible; Mozilla/5.0; Apache-HttpClient +http://www.linkedin.com)
その他
- Slack:
Slackbot-LinkExpanding 1.0 - Discord:
Discordbot/2.0 - WhatsApp:
WhatsApp/2.x
ソーシャルボット検出が重要な理由
- ユーザーがリンクを共有するとサーバーリクエストをトリガー
- 最小限のJavaScript実行 — クライアントサイドレンダリングのOGタグが見えない可能性
- 積極的にキャッシュ — OGタグの更新がすぐに反映されない
- ブラウザと同じようにリダイレクトを追従しない場合がある
ユースケース
Web開発者がソーシャルメディアボットを検出して、リンクプレビューにOpen GraphとTwitter Cardメタタグが正しく提供されるようにします。マーケティングチームはソーシャルボット検出を使用してページの共有頻度を追跡します。