Classical Comparison of Proportions
A/Bテスト結果を入力して、🚀 ボタンを押してください。比率の差の検定（カイ二乗検定・多重比較・信頼区間）ができます。
入力データはどこにも送信されません。ブラウザのみで動作します。5群まで対応可能。
- Sample Size: ユーザー数や送信者数などの分母
- Events: コンバージョン数や購入者数などの分子
| Group | Sample Size | Events | % |
|---|---|---|---|
| Group A | |||
| Group B | |||
| Group C | |||
| Group D | |||
| Group E |
検定完了！ 以下の結果を確認してください
検定失敗: ネットワーク環境などを確認してもう一度試してみてにゃん
全体の検定
- 帰無仮説: 全群の比率が等しい。
- 信頼区間は各群の比率に対するWilson区間です。
Pearsonのカイ二乗検定結果
各群の比率と信頼区間
各群間の比率の差の検定
2群のため、上記の全体の検定と同じです。参考として、2群の比較をp値で示します。
- 補正なし: 各ペアをPearsonカイ二乗検定（連続性補正なし）。比率の差のCIはWald区間。多重比較を考慮していないので、群数が増えるほど「偽陽性」が出やすくなります（あえて比較用に掲載）。
- Bonferroni / Holm / Benjamini-Hochberg(BH): 上記のp値を補正したものです（BHはFDR制御）。
- Tukey-Kramer: 本来は平均の比較手法です。ここでは0/1データとして、要約値（群の比率と分母）から等分散を仮定したTukey-Kramerを計算しています。近似である点に注意してください。
- 同時信頼区間: Bonferroni（α/ペア数）とTukeyの同時CIも併記します。
p値
- 有意なp値は黄色で表示します。
- diff A - B: A群の比率からB群の比率を差し引いた値です。