ハッシュによるデータ整合性検証

データ整合性検証はハッシュ関数を使用して、データが変更、破損、または改ざんされていないかを検出します。操作（転送、保存、処理）の前後にハッシュを計算し、2つのハッシュ値を比較することでデータが変更されていないことを確認できます。

基本原理:

暗号学的ハッシュ関数は任意のデータの固定サイズフィンガープリントを生成します。入力の1ビットでも変わると出力が予測不能に変化します。ハッシュをデータとは別に保存または送信することで、受信者は独立に整合性を検証できます。受信データのハッシュを計算し、期待されるハッシュと比較して一致すれば、圧倒的な確率でデータは無傷です。

ファイル転送の検証:

ネットワークでファイルを転送する際、ハードウェアエラーによるビット反転、パケットの破損、転送の切断が起こりえます。送信前にSHA-256を計算し、受信後に検証することでこれらの問題をすべて検出できます。SCPやrsyncなどのプロトコルは自動的にハッシュ検証を実行できます。手動検証では、ダウンロードと並べてSHA256SUMSファイルを公開するのが標準的です。

データベースの整合性:

データベースは行レベルのハッシュで無声の破損を検出できます。データ書き込み時に重要なカラムのハッシュを計算し、定期的にハッシュが一致するか検証します。ストレージ層の破損、不正な変更、レプリケーションエラーを検出できます。PostgreSQLなどのデータベースはページレベルのチェックサムを組み込み機能として提供しています。

バックアップの検証:

バックアップシステムはバックアップ前にファイルをハッシュし、リストア時にハッシュを検証すべきです。バックアップメディアの劣化（ビット腐敗）がデータ損失を引き起こす前に検出できます。ZFSやBtrfsファイルシステムはSHA-256などを使用したブロックレベルのチェックサムを提供します。

分散システム:

分散システムでは、Merkleツリー（Git、ブロックチェーン、IPFS、ZFSで使用）がデータをハッシュのツリーに整理し、各非リーフノードがその子のハッシュです。データの任意のサブセットの効率的な検証を可能にし、変更されたピースを正確に特定できます。コンテンツアドレッサブルストレージはデータのハッシュをアドレスとして使用し、整合性検証が自動的に行われます。