A/Bテスト有意差計算機

p値にはプールした標準誤差を使う2比率z検定を用います。差の信頼区間はNewcombe-WilsonまたはWaldを選べます。ベイズ表示では Beta(1 + コンバージョン数, 1 + 非コンバージョン数) の事後分布をサンプリングします。

いいえ。有意なp値は、同じCVRだと仮定した場合に観測差が起こりにくいことを示します。採用判断には効果量、コスト、ガードレール指標、セグメント差、事業上の文脈も必要です。

実験前に「Bが上がる方向だけを見る」と決めていない限り、両側検定を使います。両側検定は上下どちらの変化も検出できるため、既定として安全です。

訪問者数や期待コンバージョン数が少ない場合、正規近似のz検定は不安定になります。結果は粗いシグナルとして扱い、正確二項検定の流れで確認するか、より大きなテストを検討してください。

p値は「両群のCVRが同じなら、このデータはどれくらい珍しいか」を見ます。ベイズ確率は、選んだ事後モデルのもとでBのCVRがAを上回る割合を推定するため、答えている問いが違います。

通常の固定期間テストで途中確認を繰り返すと偽陽性が増えます。先にサンプルサイズと分析ルールを決めるか、中間解析を前提にした逐次検定を使ってください。

片側/両側、プール/非プール標準誤差、Wald/Newcombe区間、事前分布、丸め、逐次検定や多重検定補正の有無が異なると、結果も変わります。