İstatistiksel Anlamlılık

Bir deneyin sonucuna ne zaman güvenebileceğiniz.

Sorun

İki varyant arasındaki her fark gerçek değildir. Yazı tura atarsanız 10 atışta 7-3 çıkabilir; bu paranın hileli olduğu anlamına gelmez. Deneylerde de aynı şey olur: küçük örneklemde tesadüfi farklar büyük görünür.

İstatistiksel anlamlılık şu soruyu yanıtlar: kollar arasında gerçekte hiç fark olmasaydı, en az bu büyüklükte bir farkı yalnız şansla görme olasılığımız ne olurdu?

Güven düzeyi

Güven değeri 1 − p'dir. %95 güven, gerçekte fark yoksa bu kadar büyük bir farkı görme olasılığının %5'in altında olduğunu söyler; farkın gerçek olma olasılığını ya da büyüklüğünü söylemez. Farkın büyüklüğü için güven aralığına bakın.

Güven	Yorum
%95+	Kabul edilen eşik. Karar verebilirsiniz.
%90–95	Umut verici ama kesin değil. Devam edin.
%90 altı	Karar vermeyin.

Ziyaretçi başına gelir

Dönüşüm oranının yanında, sonuç tablosunun RPV sütunu her kolun ziyaretçi başına gelirini gösterir. Kontrol dışındaki her kolun altında, kontrole göre farkı ve bu farkın güven aralığı yazar: örneğin "Fark 4,00 TL (−0,38 … 8,38), %95 aralık".

• Aralık sıfırı içeriyorsa, gelir farkı şansla açıklanabilir.
• Aralık tamamen sıfırın üstündeyse, kol kontrolden ziyaretçi başına daha fazla gelir getiriyor demektir. Ne kadar fazla olduğu aralığın genişliği kadar belirsizdir.
• Her kolda en az 30 ziyaretçi ve en az 5 satın alan ziyaretçi olmadan aralık hesaplanmaz; tabloda "Gelir aralığı için yetersiz veri" yazar.

Hesap her ziyaretçiyi bir kez sayar; hiç satın almayan ziyaretçiler de paydadadır. Gelir birkaç büyük siparişle oynayabildiği için aralık, dönüşüm oranınınkinden genellikle geniştir.

Trafik dağılımı (SRM)

Deney her kola ayarladığınız payda ziyaretçi gönderir. Kolların aldığı ziyaretçi sayısı bu paylardan istatistiksel olarak anlamlı biçimde saparsa (p değeri 0,001'in altında), sonuç sayfasının üstünde kırmızı bir uyarı çıkar ve bu deneyde kazanan ilan edilmez.

Böyle bir sapma şans değildir; bir koldan ziyaretçi düştüğünü gösterir. Kol hata veriyor, ziyaretçiyi yönlendiriyor ya da maruz kalma kaydedilmiyor olabilir. O durumda kollar artık aynı kitleyi karşılaştırmaz ve hiçbir oran güvenilir değildir. Uyarıda her kolun gözlenen ve beklenen payı yazar; payı düşük kalan kolu kontrol edin, düzeltip deneyi yeniden başlatın.

Örneklem büyüklüğü

Güven düzeyi tek başına yeterli değildir; yeterli gözlem de gerekir. Deney oluştururken minimum sample size belirleyin ve o sayıya ulaşmadan sonlandırmayın.

Ne kadar gerekir sorusunun cevabı, yakalamak istediğiniz farkın büyüklüğüne bağlıdır:

Yakalanacak fark	Gereken gözlem
Büyük (%50 iyileşme)	Az
Orta (%10 iyileşme)	Çok daha fazla
Küçük (%2 iyileşme)	Çoğu mağazanın trafiğiyle ulaşılamaz

Deneyi ne zaman durdurmalı

Şu üçü sağlandığında:

1. Minimum örneklem büyüklüğüne ulaşıldı.
2. Güven düzeyi %95'in üstünde.
3. En az bir tam hafta geçti.

Üçüncü madde önemlidir: hafta içi ve hafta sonu davranışı farklıdır. Sadece hafta içi çalışan bir deney, hafta sonu ziyaretçilerini hiç görmemiş olur.

Yapılmaması gerekenler

Hata	Neden yanlış
Her gün bakıp kazanan çıkınca durdurmak	Yeterince bakarsanız her deney bir gün "kazanan" gösterir
Kaybeden varyantı erken kaldırmak	Dağılımı bozar, kalan veri yorumlanamaz
Beş metriğe bakıp iyi olanı seçmek	Birinin şansa iyi çıkma olasılığı yüksektir
Ortasında varyantı değiştirmek	Öncesi ve sonrası karışır

Sonuç çıkmazsa

Bir deney sonuçsuz kalabilir ve bu normaldir. Küçük değişikliklerin çoğu ölçülebilir bir fark yaratmaz. Daha cesur bir değişiklik deneyin: metin değiştirmek yerine tetikleyici stratejisini, konum yerine widget tipini değiştirin.