ログファイルのカラムを分析用に整列する

ログファイル出力のフォーマット

アプリケーションやサーバーのログファイルは、緩やかなカラム形式で構造化されたデータを含むことが多いです。タイムスタンプ、ログレベル、モジュール名、メッセージはスペースやタブで区切られていますが、一貫しない幅のためパターンを素早くスキャンすることが困難です。

変換前

2024-01-15T10:23:45 INFO auth Login successful user=alice ip=192.168.1.10
2024-01-15T10:23:47 WARN db Connection pool 80% full host=db-01
2024-01-15T10:23:48 ERROR api Request timeout path=/api/v2/users duration=30s
2024-01-15T10:23:50 INFO cache Cache hit rate=95.2% keys=1240
2024-01-15T10:24:01 ERROR auth Failed login user=unknown ip=10.0.0.5

変換後（最初の4カラムを整列）

2024-01-15T10:23:45  INFO   auth   Login successful user=alice ip=192.168.1.10
2024-01-15T10:23:47  WARN   db     Connection pool 80% full host=db-01
2024-01-15T10:23:48  ERROR  api    Request timeout path=/api/v2/users duration=30s
2024-01-15T10:23:50  INFO   cache  Cache hit rate=95.2% keys=1240
2024-01-15T10:24:01  ERROR  auth   Failed login user=unknown ip=10.0.0.5

区切り文字の選択

ログファイルは通常、フィールド間に単一のスペースを使用します。各フィールドがちょうど1つのトークンの場合はSpace (1)を、元のログにカラム間にある程度のパディングがある場合はSpaces (2+)を使用します。ログ形式がタブを使用する場合はTabを選択します。

部分的な整列

ログメッセージ（最後の「カラム」）は可変長の自由テキストを含むことが多いです。ツールは他のカラムと同様にパディングしますが、最後のカラムなので末尾のパディングはトリミングされます。これはメッセージ部分がそのまま残り、構造化されたプレフィックスカラムはきれいに整列されることを意味します。

整列前のフィルタリング

非常に大きなログファイルの場合、まずサブセットにフィルタリング（grepやログ分析ツールを使用）してから、フィルタリングされた結果をここに貼り付けて整列することを検討してください。これにより整列が速く、出力が管理可能になります。