Bayesian Comparison of Means

Group	N	Mean	Std	Min	Max
Group A
Group B
Group C
Group D
Group E

推定がうまくいかないとき用

TuneやDrawsを増やすと改善する場合がありますが、推定時間も長くなります。

Tune

1000

Draws

1000

推定を実行すると、以下に結果が表示されます

全体結果（平均の事後分布）

各群の平均値がとりそうな値の範囲を表します（meanもmuも平均のことです）。
表のmeanは、各群の平均値がとりそうな値を点で推定した結果です。
HDI（Highest Density Interval）は、各群の平均値がとりそうな値を区間で推定した結果です。hdi_3%とhdi_97%は、下図各群の分布において、密度の高い部分から確率を合計して94%になる範囲を取ってきた両端の値です。

平均値の事後分布

入力された観測データ件数（Sample Size）が十分に多い、あるいはバラツキ（標準偏差）が小さい場合は、meanの値と入力データの平均値はほぼ一致します。分布は尖った形になりやすく、推定結果の確からしさを表します。
観測データ件数が少ない、あるいはバラツキが大きい場合は違いが生じることがあります。分布は裾が広くなりやすく、推定結果の不確かさを表します。

推定結果の不確かさが大きいときの対応策

入力データが正しく読み取られているか、集計値を確認する
A/Bテスト実施中であればテスト期間を延長するなどして、観測データ件数を増やす
🚀 ボタンの下の「推定がうまくいかないとき用」で推定方法を調整して再度実行してみる

各群間の比較（平均の差分）

各群間の平均値の差がとりそうな値の範囲を表します。
横棒がオレンジ線をまたいでいない（94% HDIが0を含まない）場合は、各群間の平均値に十分な差があると解釈しやすいです。
diff_A_BはA群の平均値からB群の平均値を差し引いた値です（以降同様です）。

2群間の平均値差のフォレストプロット

群間差の事後分布

下段グラフのオレンジ色の数値は、片方の群の平均がもう片方の群の平均を上回っている（下回っている）確率を表します。
各群間の平均の差が0を上回る（下回る）確率が示唆される、これがベイズ推定の利点の一つです（94%HDIに0が含まれていてもこの値で各群間の平均の差を判断しやすいです）。
もしもこの値が50%に近い場合は、平均に差があるかは不確かです。100%（0%）に近い場合は、平均の差の確からしさが高まります。
この値の判断基準にはp値のような決まりはありません。
- 例えばこの値が80%以上のとき（20%未満のとき）、80%を確からしいとみなして平均に差があると判断してもよいです。
- 80%は不確かとみなして平均に差はないと判断してもよいです。
- ここでの推定結果に固執せず、関連する周辺情報も考慮しつつ総合的観点から判断することを強く推奨します。

収束診断

サンプリングが正常にできているかを確認します。診断項目に問題がなさそうであれば、適切な推定結果と解釈しやすいです。

基本パラメータの要約統計量

目安として、

r_hatが1.05以下（理想は1.00）
mcse_meanが0.01以下（パラメータの変動範囲が0〜1の場合）またはsdの5%以下（できれば2%以下） ※下段の表で確認可能
ess_bulkとess_tailが400以上（できれば数千）

であれば概ね問題ないと考えてください。

Trace Plot

各グラフには4本の線が表示されます。
左側のグラフでは4本の線がだいたい同じ形に、右側のグラフでは値が一定範囲を何度も行き来し、変動幅がだいたい同じくらいになっていれば概ね問題ないと考えてください。
グラフ下部に縦のバーが表示される場合は注意が必要です。推定方法を調整しても改善しない場合は、管理者に相談してください。

Trace plot