On this page, you can make a Bayesian Estimation of the Difference in Proportions. Bayesian method estimates the difference in proportion between groups and shows the probability distribution. You can see the mean difference, the 95%HDI(Highest Density Interval) from this distribution. And you can also see the probability that the difference between groups is > 0 or < 0. 比率の差のベイズ推定をおこなうことができます。群間の割合の差を推定し、その確率分布を示します。 この分布から、平均的な差や95%HDI(最高密度区間)がわかります。そしてグループ間の差が > 0 または < 0である確率も知ることができます
A/Bテスト結果(比率の元となる分母と分子)を入力して、クリックボタンを押してください No data is sent anywhere, works only JavaScript.
Can be entered separated by spaces, commas, tabs, newlines, and Check your data
Group A | Group B | Group C | Group D | Group E | |
denom | |||||
numer | |||||
observed rate (%) |
Number of sampling times Can be adjusted to your preference
This is the posterior distribution of each groups and its means. If the number of observation data is large enough, the mean of the posterior distribution and the observation data will almost match. And the posterior distribution tends to be sharp(This is also an indication of the certainty of the estimation). If the number of observation data is small, the mean of the posterior distribution and the observation data will deviate. And the posterior distribution has a wide hem(This is also a sign of the uncertainty of the estimation).
これは各群それぞれの事後分布とその平均値です。観測データ件数が十分に多い場合は、事後分布の平均値と観測データとはほぼ一致します。そして事後分布は尖った形状になりやすいです(推定値の確からしさの表れでもあります)。もしも観測データ件数が少ない場合は、事後分布の平均値と観測データとは乖離します。そして事後分布は裾が広い形状になります(推定値の不確かさの表れでもあります)。
What follows is the probability distribution of the difference in proportions between the two groups (The combination of the two groups is in descending order of the average value in the posterior distribution in the above figure). If the 95% HDI does not contain 0, it means that there is a credible difference between groups. The bold part shows the probability that the proportion of one group is greater than that of the other group. This is the advantage of Bayesian estimation, which suggests the probability that the difference between groups is > 0 (or < 0 ). Even if the 95% HDI contains 0, this value can be used to judge.
If this value is close to 50%, it's uncertain whether there's a difference. When the value is close to 100% (or 0%), the probability of the difference increases. The closer this value is to 100% (or 0%), the more likely there's a difference. There's no rule like p-value for judging. For example, when this value exceeds 80%(or below 20%), you can consider 80% to be probable and judge there's a difference. Or you may consider 80% to be uncertain and judge there's no difference, too. I'm afraid that you do not stick only to the estimation results here, but also combine related peripheral information and make judgments from a comprehensive perspective.
以下に続くのは2群間の比率の差の確率分布です(2群の組み合わせは上図の事後分布で平均値が大きい順です)。95%HDIが0を含んでいない場合は、2群の比率には信頼するに足る差があることを意味します。太字箇所は一方の群における比率が、もう一方の群における比率を上回っている確率を表します。群間の差が > 0 (または < 0 )である確率が示唆される、これがベイズ推定の利点です。95%HDIに0が含まれていても、この値で群間の比率の差を判断できます
もしもこの値が50%に近い場合は、2群の比率に差があるかは不確かです。100%に近い(0%に近い)場合は、2群の比率の差の確からしさが高まります。ここの判断基準にはp値のような決まりはありません。例えばこの値が80%以上のとき(20%未満のとき)、80%を確からしいとみなして2群の比率に差があると判断してもよいです。80%は不確かとみなして2群の比率に差はないと判断してもよいです。ここでの推定結果だけに固執せず、関連する周辺情報も組み合わせて総合的視点から判断することを推奨します