サムネイル変更の効果検証について

Question

Yahooや楽天でサムネイル画像を変えて効果検証をしたいのですが、ABテストツールを用いない場合、どういった指標で・どの程度の期間で比較していくべきでしょうか？

【指標】
流入数（UU単位かPV単位か）、CVR、売上

【期間】
日数ベース（～1週間、～1ヵ月など）、流入数ベース（UU1,000件、PV10,000件など）

Answer

ECマスターズの海老塚です。

> Yahooや楽天でサムネイル画像を変えて効果検証をしたいのですが、ABテストツールを用いない場合、どういった指標で・どの程度の期間で比較していくべきでしょうか？

指標ですが、サムネイル画像は、
まずはクリックしてもらうことが目的なので、
PVやUUが指標になります。

期間については、
もちろん正解はないですが、
一般的には2週間〜1ヶ月程度で
テストしているところが多いです。

テストするためには、
ある程度数がないと有意差がでないので、
以下のようなツールを使って
テストしてみると良いと思います。

A/Bテスト信頼度判定ツール（有意差判定）
https://cinci.jp/report/ab-calculator.html