User-Agentからソーシャルメディアボットを検出する

User-Agent文字列からソーシャルメディアクローラー(Facebook、Twitter、LinkedIn)を識別します。ソーシャルプラットフォームがOpen GraphやTwitter Cardデータを取得する方法を理解。

Advanced

詳細な説明

ソーシャルメディアクローラーの検出

ソーシャルメディアプラットフォームは、リンクプレビューを生成するためにページメタデータ、Open Graphタグ、Twitter Cardsを取得する専用ボットを使用します。

Facebookクローラー

facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)

Twitter/Xクローラー

Twitterbot/1.0

LinkedInクローラー

LinkedInBot/1.0 (compatible; Mozilla/5.0; Apache-HttpClient +http://www.linkedin.com)

その他

  • Slack: Slackbot-LinkExpanding 1.0
  • Discord: Discordbot/2.0
  • WhatsApp: WhatsApp/2.x

ソーシャルボット検出が重要な理由

  1. ユーザーがリンクを共有するとサーバーリクエストをトリガー
  2. 最小限のJavaScript実行 — クライアントサイドレンダリングのOGタグが見えない可能性
  3. 積極的にキャッシュ — OGタグの更新がすぐに反映されない
  4. ブラウザと同じようにリダイレクトを追従しない場合がある

ユースケース

Web開発者がソーシャルメディアボットを検出して、リンクプレビューにOpen GraphとTwitter Cardメタタグが正しく提供されるようにします。マーケティングチームはソーシャルボット検出を使用してページの共有頻度を追跡します。

試してみる — User-Agent Parser & Analyzer

フルツールを開く