Apache Common Log Formatの解析

Apache Common Log Formatエントリを解析して、IP、アイデンティティ、ユーザー、タイムスタンプ、リクエスト、ステータス、バイト数フィールドを抽出。リファラーなしのシンプルなバリアント。

Apache

詳細な説明

Apache Common Log Format (CLF)

Common Log Formatは元祖の標準化されたWebサーバーログフォーマットです。Combinedフォーマットよりも前に存在し、リファラーとユーザーエージェント文字列を省略したフィールド数の少ないフォーマットです。

フォーマット構造

%h %l %u %t "%r" %>s %b

ログ行の例

10.0.0.5 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326

抽出されるフィールド

フィールド
リモートホスト 10.0.0.5
アイデンティティ -
ユーザー frank
タイムスタンプ 10/Oct/2000:13:55:36 -0700
リクエスト GET /apache_pb.gif HTTP/1.0
ステータス 200
バイト数 2326

CommonとCombinedの使い分け

Common Log Formatを使用する場合:

  • Apache設定が LogFormat "%h %l %u %t \"%r\" %>s %b" common を使用している
  • リファラーやユーザーエージェントデータが不要
  • ログストレージが懸念でファイルを小さくしたい
  • レガシーシステムがCLF互換性を要求

モダンな環境では、リファラーとユーザーエージェントフィールドが分析やセキュリティに有用なため、Combinedフォーマットがより一般的です。

ユースケース

Common Log Formatを使用するレガシーApacheログファイルの解析、構造化ストレージへの旧ログデータの移行、リファラーやユーザーエージェント情報なしでの基本的なリクエストメトリクス分析。

試してみる — Log Format Parser

フルツールを開く