Bayesian Comparison of Proportions
A/Bテスト結果を入力して、🚀 ボタンを押してください。比率の差のベイズ推定ができます。
入力データはどこにも送信されません。ブラウザのみで動作します。5群まで対応可能。
- Sample Size: ユーザー数や送信者数などの分母
- Events: コンバージョン数や購入者数などの分子
| Group | Sample Size | Events | % |
|---|---|---|---|
| Group A | |||
| Group B | |||
| Group C | |||
| Group D | |||
| Group E |
推定がうまくいかないとき用
Number of sampling times
増やしてみるとうまくいく場合もあります（スマホでは処理が重いため増やさない方がいいです）
推定完了！ 解説やPointを参考にしながら推定結果を読み解いてください
推定失敗: ネットワーク環境などを確認してもう一度試してみてにゃん
全体結果（比率の事後分布）
- 各群の比率がとりそうな値の範囲を表します。
- Mean（平均）は、各群の比率がとりそうな値を点で推定した結果です。
- 94%HDI（Highest Density Interval）は、各群の比率がとりそうな値を区間で推定した結果です。下図各群の分布において、密度の高い部分から確率を合計して94%になる範囲を取ってきた両端の値です。
- 入力された観測データ件数（Sample Size）が十分に多い場合は、Meanと入力データの比率はほぼ一致します。分布は尖った形になりやすく、推定結果の確からしさを表します。
- 観測データ件数が少ない場合はやや違いが生じるときもあります。分布は裾が広い形になりやすく、推定結果の不確かさを表します。
推定結果の不確かさが大きいときの対応策
- 入力データが正しく読み取られているか、集計値を確認する
- A/Bテスト実施中であればテスト期間を延長するなどして、観測データ件数を増やす
- 🚀 ボタンの下の「推定がうまくいかないとき用」で推定方法を調整して再度実行してみる
データテーブル（コピペ用）
各群間の比較（比率の差分）
- 各群間の比率の差がとりそうな値の範囲を表します。
- 横棒がオレンジ線をまたいでいない（94%HDIが0を含まない）場合は、各群間の比率に十分な差があると解釈しやすいです。
- diff A - B: A群の比率からB群の比率を差し引いた値（以降同様です）
- 下段グラフのオレンジ色の数値は、片方の群の比率がもう片方の群の比率を上回っている（下回っている）確率を表します。
- 各群間の比率の差が0を上回る（下回る）確率が示唆される、これがベイズ推定の利点の一つです（94%HDIに0が含まれていてもこの値で各群間の比率の差を判断しやすいです）。
- もしもこの値が50%に近い場合は、比率に差があるかは不確かです。100%（0%）に近い場合は、比率の差の確からしさが高まります。
- この値の判断基準にはp値のような決まりはありません。
- 例えばこの値が80%以上のとき（20%未満のとき）、80%を確からしいとみなして比率に差があると判断してもよいです。
- 80%は不確かとみなして比率に差はないと判断してもよいです。
- ここでの推定結果に固執せず、関連する周辺情報も考慮しつつ総合的観点から判断することを強く推奨します。