CSVの文字エンコーディング：UTF-8、Shift-JIS、その他

CSVファイルの文字エンコーディング

CSVファイルには組み込みのエンコーディング宣言がありません。ファイルは生のバイト列であり、パーサーはそれらのバイトをテキストとして解釈するために正しいエンコーディングを知っているか推測する必要があります。

一般的なCSVエンコーディング

エンコーディング	使用元	備考
UTF-8	モダンツール、API、Web	ユニバーサル、すべてのUnicode文字をサポート
UTF-8 with BOM	Excel (Windows)	バイトEF BB BFで始まる
Shift-JIS	日本のレガシーシステム	Windowsコードページ932
ISO-8859-1	ヨーロッパのレガシーシステム	シングルバイト、0-255

BOMの問題

Windows上のMicrosoft ExcelはUTF-8 BOM（バイトオーダーマーク）付きでCSVファイルを保存します。パーサーがBOMをストリップしない場合、最初のヘッダー名が破損します。解析前に必ずBOMをチェックしてストリップしてください。

Shift-JISと日本語CSVファイル

日本のシステム（政府データ、銀行エクスポート、レガシーERP）からのCSVファイルはShift-JISエンコーディングを使用することがよくあります。モダンブラウザはTextDecoder APIを通じてデコードをサポートしています：

const decoder = new TextDecoder("shift-jis");
const text = decoder.decode(arrayBuffer);

Shift-JISファイルをUTF-8としてデコードすると、日本語文字が文字化けします。解析前に必ずエンコーディングを確認してください。

JSON出力のエンコーディング

入力CSVのエンコーディングに関係なく、JSON出力は常にUTF-8であるべきです。JSONはRFC 8259によりUTF-8として定義されています。