A/Bテスト結果を入力して、クリックボタンを押してください。比率の差のベイズ推定ができます。

  • 比率（クリック率や購入率のような%指標）の元となるデータをエクセルからコピペ入力などしてください。
  • 入力データはどこにも送信されません。ブラウザのみで動作します。

推定完了！ 解説やPointを参考にしながら推定結果を読み解いてください

比率の事後分布

  • 各群の比率がとりそうな値の範囲を表します。
  • Mean（平均）は、各群の比率がとりそうな値を点で推定した結果です。
  • 94%HDIは、各群の比率がとりそうな値を区間で推定した結果です。上図各群の分布においてデータ全体100%から中央の94%を取ってきた両端の値です（Highest Density Interval 事後分布の中で最も密度が高い範囲）。

✅ Point:

  • 入力された観測データ件数（分母）が十分に多い場合は、Meanと入力データの比率はほぼ一致します。グラフは尖った形になりやすく、推定結果の確からしさを表します。
  • 入力された観測データ件数（分母）が少ない場合はやや違いが生じるときもあります。グラフは裾が広い形になりやすく、推定結果の不確かさを表します。

🏷️ 推定結果の不確かさが大きいときの対応策:

  1. 入力データが変な値で読み取られていないか集計値を確認する
  2. A/Bテスト実施中であればテスト期間を延長するなどして観測データ件数を増やす
  3. 左下カラムで推定方法を調整して再度実行してみる
データテーブル

2群間の比率の差分

  • 2群間の比率の差がとりそうな値の範囲を表します。
  • 横棒がオレンジ線をまたいでいない（94%HDIが0を含まない）場合は、2群間の比率に十分な差があると解釈しやすいです。
  • diff A - B: A群の比率からB群の比率を差し引いた値（以降同様です）

✅ Point:

  • 下段グラフのオレンジ色の数値は、片方の群の比率がもう片方の群の比率を上回っている（下回っている）確率を表します。
  • 2群間の比率の差が0を上回る（下回る）確率が示唆される、これがベイズ推定の利点の一つです（94%HDIに0が含まれていてもこの値で2群間の比率の差を判断しやすいです）。
  • もしもこの値が50%に近い場合は、比率に差があるかは不確かです。100%（0%）に近い場合は、比率の差の確からしさが高まります。
  • この値の判断基準にはp値のような決まりはありません。
    • 例えばこの値が80%以上のとき（20%未満のとき）、80%を確からしいとみなして比率に差があると判断してもよいです。
    • 80%は不確かとみなして比率に差はないと判断してもよいです。
    • ここでの推定結果に固執せず、関連する周辺情報も考慮しつつ総合的観点から判断することを強く推奨します。