İstatistiksel Anlamlılık

Bir deneyin sonucuna ne zaman güvenebileceğiniz.

Sorun

İki varyant arasındaki her fark gerçek değildir. Yazı tura atarsanız 10 atışta 7-3 çıkabilir; bu paranın hileli olduğu anlamına gelmez. Deneylerde de aynı şey olur: küçük örneklemde tesadüfi farklar büyük görünür.

İstatistiksel anlamlılık, gördüğünüz farkın tesadüf olma olasılığını ölçer.

Güven düzeyi

Sonuç tablosundaki güven değeri, farkın gerçek olma olasılığını gösterir.

Güven	Yorum
%95+	Kabul edilen eşik. Karar verebilirsiniz.
%90–95	Umut verici ama kesin değil. Devam edin.
%90 altı	Karar vermeyin.

Örneklem büyüklüğü

Güven düzeyi tek başına yeterli değildir; yeterli gözlem de gerekir. Deney oluştururken minimum sample size belirleyin ve o sayıya ulaşmadan sonlandırmayın.

Ne kadar gerekir sorusunun cevabı, yakalamak istediğiniz farkın büyüklüğüne bağlıdır:

Yakalanacak fark	Gereken gözlem
Büyük (%50 iyileşme)	Az
Orta (%10 iyileşme)	Çok daha fazla
Küçük (%2 iyileşme)	Çoğu mağazanın trafiğiyle ulaşılamaz

Deneyi ne zaman durdurmalı

Şu üçü sağlandığında:

1. Minimum örneklem büyüklüğüne ulaşıldı.
2. Güven düzeyi %95'in üstünde.
3. En az bir tam hafta geçti.

Üçüncü madde önemlidir: hafta içi ve hafta sonu davranışı farklıdır. Sadece hafta içi çalışan bir deney, hafta sonu ziyaretçilerini hiç görmemiş olur.

Yapılmaması gerekenler

Hata	Neden yanlış
Her gün bakıp kazanan çıkınca durdurmak	Yeterince bakarsanız her deney bir gün "kazanan" gösterir
Kaybeden varyantı erken kaldırmak	Dağılımı bozar, kalan veri yorumlanamaz
Beş metriğe bakıp iyi olanı seçmek	Birinin şansa iyi çıkma olasılığı yüksektir
Ortasında varyantı değiştirmek	Öncesi ve sonrası karışır

Sonuç çıkmazsa

Bir deney sonuçsuz kalabilir ve bu normaldir. Küçük değişikliklerin çoğu ölçülebilir bir fark yaratmaz. Daha cesur bir değişiklik deneyin: metin değiştirmek yerine tetikleyici stratejisini, konum yerine widget tipini değiştirin.