A/Bテストフィーチャーフラグ設定

フィーチャーフラグによるA/Bテスト

A/Bテストはフィーチャーフラグを使用してトラフィックを2つ以上のバリエーションに分割し、どのバージョンがより良いパフォーマンスを発揮するかを測定します。単純なロールアウトとは異なり、A/Bテストは統計分析のためにユーザーを名前付きグループに割り当てます。

設定例

{
  "checkout-button-color": {
    "name": "チェックアウトボタンカラーテスト",
    "description": "緑またはオレンジのCTAボタンがコンバージョンを改善するかテスト",
    "type": "string",
    "enabled": true,
    "defaultValue": "green",
    "targeting": [
      {
        "type": "percentage-rollout",
        "percentage": 50
      }
    ]
  }
}

LaunchDarklyマルチバリエイト設定

LaunchDarklyでの適切なA/Bテストでは、複数のバリエーションを定義します：

{
  "variations": [
    { "value": "control", "name": "オリジナルの緑ボタン" },
    { "value": "treatment-a", "name": "オレンジボタン" },
    { "value": "treatment-b", "name": "青ボタン" }
  ],
  "rollout": {
    "variations": [
      { "variation": 0, "weight": 33334 },
      { "variation": 1, "weight": 33333 },
      { "variation": 2, "weight": 33333 }
    ]
  }
}

統計的有意性

A/Bテストから意味のある結果を得るために：

• サンプルサイズ: 各グループに十分なユーザーが必要（通常バリエーションごとに1,000人以上）
• 期間: 少なくとも1-2ビジネスサイクル（通常1-2週間）実行する
• 一貫性: 同じユーザーが常に同じバリエーションを見る必要がある
• 単一変数: 効果を分離するためにテストごとに1つだけ変更する

追跡するメトリクス

メトリクスタイプ	例
プライマリ	コンバージョン率、ユーザーあたりの収益
セカンダリ	バウンス率、ページ滞在時間
ガードレール	エラー率、ページロード時間、サポートチケット

重要：相互作用効果を避ける

複数のA/Bテストを同時に実行する場合、互いに干渉しないようにしてください。バケッティングには別々のgroupId値を使用して、同じユーザーが常にトリートメントグループに入らないようにします。