Süre ve Örneklem

Bir deneyin sonucuna ne zaman güvenebileceğinizi, deney başlamadan önce vereceğiniz iki karar belirler: kaç ziyaretçi ve kaç gün.

Panelde nerede

Sihirbazın Duration adımı (Türkçe panelde Süre; adımın başlığı Duration & Traffic / Süre ve Trafik).

Alanlar

Alan	Açıklama
Quick Select Duration	1 Week, 2 Weeks, 1 Month, 3 Months: bugünden başlayan bir tarih aralığını doldurur
Start Date, End Date	Her ikisi de sihirbazda zorunlu. Bitiş, başlangıçtan önce olamaz; aynı gün geçerlidir. Yeni deneyde başlangıç bugünden önce seçilemez.
Traffic Percentage	Deneye girecek ziyaretçi yüzdesi. Bkz. Trafik Dağılımı.
Minimum Sample Size	Kol başına en az ziyaretçi sayısı. En az 100, tam sayı, varsayılan 1000. Hazır değerler: 100, 500, 1.000, 2.500, 5.000.
How many visitors do I need?	Örneklem hesaplayıcı; aşağıya bakın
Estimated Completion	Ortalama günlük ziyaretçiye göre tahmini gün sayısı

"Apply it to everyone" ile kurulan bir sayfa değişikliğinde örneklem alanı sorulmaz: karşılaştırılacak bir kol yoktur.

Minimum örneklem neden var

İstatistiksel test bir kez, önceden seçilmiş bir örneklem büyüklüğünde geçerlidir. Sonuç sayfası her yüklenişinde yeniden hesaplanır; yeterince bakarsanız her deney bir gün "kazanan" gösterir. Önceden belirlediğiniz sayı bu hatanın tek savunmasıdır: kontrol ve test kolunun ikisi de bu sayıya ulaşmadan sonuç anlamlı ilan edilmez ve kazanan seçilmez.

Sayı ziyaretçidir, gösterim değil: aynı kişinin birden çok sayfa görmesi örneklemi büyütmez. Sonuç sayfası bu sayıya göre ilerlemeyi gösterir (Can this be read yet?); bkz. Sonuç Analizi.

Örneklem hesaplayıcı

How many visitors do I need? düğmesi iki soru sorar:

Alan	Anlamı
Current conversion rate (%)	Kontrolün bugünkü dönüşüm oranı, 0,1 ile 99 arası. Geçmiş bir testin sonucundan ya da analitiğinizden okuyun.
Smallest lift worth detecting (%)	Yakalamaya değer en küçük göreli artış, 1 ile 500 arası. 10, %2,0'dan %2,2'ye demektir.

Hesap, %95 güven ve %80 güç varsayar ve kol başına gereken ziyaretçiyi verir; toplamı da yazar. Use this number sonucu Minimum Sample Size alanına yazar. Birden fazla test kolu varsa her biri %95 yerine daha yüksek bir güvenle değerlendirilir ve gereken sayı büyür; hesaplayıcı bunu ayrıca söyler.

Gereken sayı, yakalamak istediğiniz farkın karesiyle ters orantılıdır: yarı kadar bir fark için dört kat ziyaretçi gerekir.

Yakalanacak fark	Gereken gözlem
Büyük (%50 iyileşme)	Az
Orta (%10 iyileşme)	Çok daha fazla
Küçük (%2 iyileşme)	Çoğu mağazanın trafiğiyle ulaşılamaz

Günde birkaç yüz ziyaretçisi olan bir mağazada %2'lik bir farkı kanıtlamak aylar sürer. Küçük değişiklikleri denemek yerine fark yaratması muhtemel büyük değişiklikleri test edin.

Yedi gün kuralı

Deney, örneklem dolsa bile en az 7 gün çalışmalıdır: hafta içi ve hafta sonu davranışı farklıdır. 7 günden kısa bir deneyi her zaman durdurabilirsiniz, ama kısa koşuda kazanan ilan edilmez. Review adımı 7 günden kısa bir plan için uyarı verir.

Süre tahmini

Estimated Completion, kanalın son 30 gündeki ortalama günlük tekil ziyaretçisini, Traffic Percentage ile ve kol sayısıyla çarpılmış minimum örneklemle karşılaştırır. Kanalda ölçülmüş ziyaretçi yoksa ya da ölçüm okunamadıysa tahmin yapılamaz ve neden yazılır. Seçtiğiniz süre tahminden kısaysa kutu bunu uyarır.

Deneyi ne zaman durdurmalı

1. Her kol minimum örnekleme ulaştı.
2. En az 7 gün geçti.
3. Sonuç anlamlı; bkz. İstatistiksel Anlamlılık.

Her gün bakıp kazanan çıkınca durdurmak, kaybeden kolu erken kaldırmak ya da ortada varyantı değiştirmek sonucu bozar.