İstatistiksel Anlamlılık

İki kol arasındaki her fark gerçek değildir. Yazı tura atarsanız 10 atışta 7-3 çıkabilir; bu paranın hileli olduğu anlamına gelmez. Deneylerde de küçük örneklemde tesadüfi farklar büyük görünür. Bu sayfa, sonuç sayfasındaki Confidence, Probability to win ve Outcome sütunlarının nasıl hesaplandığını anlatır.

Panelde nerede

Deney sonuç sayfasının Performance by Variant tablosu; bkz. Sonuç Analizi.

Güven (Confidence)

Dönüşüm oranları için iki oranlı z testi kullanılır; birim ziyaretçidir, gösterim değil: aynı kişinin birden çok sayfa görmesi bağımsız deneme sayılmaz. Güven = 1 − p: kollar arasında gerçekte fark olmasaydı bu büyüklükte bir farkı yalnız şansla görme olasılığının tersi. Farkın gerçek olma olasılığını ya da büyüklüğünü söylemez.

Test geçerli olabilmesi için her kolda en az 30 ziyaretçi, en az 5 dönüşen ve en az 5 dönüşmeyen ziyaretçi gerekir. Altında panel güven yerine — yazar; "%5,5 güven" bir zayıf sonuç değil, sonuç olmamaktır. Lift ise düz aritmetiktir ve bu şart olmadan da gösterilir.

Eşik: kaç kol varsa o kadar sıkılaşır

Her test kolu kontrolle ayrı bir karşılaştırmadır. Üç test kolunu ayrı ayrı %95 ile sınarsanız, hiç fark yokken bile birinin "anlamlı" çıkma olasılığı %14'e yükselir. Bu yüzden eşik, test kolu sayısına göre sıkılaştırılır:

Test kolu sayısı	Bir kolun anlamlı sayılması için gereken güven
1 (iki kollu A/B)	%95
2	yaklaşık %97,5
3	yaklaşık %98,3
4	yaklaşık %98,7

Örneklem hesaplayıcısı aynı eşikle çalışır; bkz. Süre ve Örneklem.

Kazanma olasılığı (Probability to win)

Z testi "bu iki oran farklı mı" sorusunu cevaplar; sizin sorunuz çoğu zaman "hangisini yayınlamalıyım". Bir deney haftalarca %95'in altında kalabilir ve bu sürede bir kol hep önde olabilir. Probability to win, her kolun dönüşüm oranına bir olasılık dağılımı uydurur (Beta dağılımı, eşit başlangıç varsayımı) ve her kolun en iyi kol olma olasılığını verir.

• Tüm kollar için toplam %100'dür; kontrol için de gösterilir.
• Hesap deterministiktir: sayfayı yenilemek rakamı oynatmaz.
• Hiç ziyaretçisi olmayan bir kol varsa ya da tek kol varsa — yazar; eşit bir bölüşüm uydurulmaz.

Sonuç (Outcome) nasıl belirlenir

Sonuç	Koşul
Winner (Kazanan)	Fark anlamlı (yukarıdaki eşikle), lift pozitif ve kazanma olasılığı en az %95
Underperformed (Düşük Performans)	Fark anlamlı ve lift negatif
Inconclusive (Kararsız)	Diğer her durum

Inconclusive, "fark yok" demek değildir; yeterli veri toplanmadığını söyler. Deneyin aşağıda anlatılan şekilde kaydedilmiş kazananı da, kazanma olasılığına bakılmaksızın Winner olarak işaretlenir.

Kazanan nasıl kaydedilir

Deney Complete edildiğinde ve sonuç sayfası her yenilendiğinde sistem bir kazanan hesaplar; listedeki Have Winners sayısı ve Winner rozeti bundan gelir. Bir kolun kazanan olması için hepsi gerekir:

1. Kontrol kol var ve ziyaretçisi var (kontrolsüz "herkese uygula" değişikliklerinde kazanan olmaz).
2. Deney başlangıç tarihinden itibaren en az 7 gün çalışmış.
3. Kollar yapılandırılan trafik payını almış (SRM uyarısı yok).
4. Kol anlamlı ve pozitif liftte, ve Minimum Sample Size ayarlıysa hem kontrol hem kol bu sayıya ulaşmış.
5. Sayfa deneyinde kolun değişiklikleri sağlıklı: hata oranı %5'i aşmamış ve eşleşme oranı %20'nin altına inmemiş.

Birden çok kol koşulları sağlarsa lifti en yüksek olan kazanır. Kimse sağlamıyorsa kazanan yoktur; bu bir hata değil, sonuçtur.

Gelir ve trafik kontrolleri

Gelir farkı için ayrı bir güven aralığı ve kolların beklenen trafiği alıp almadığını sınayan bir uyarı vardır (SRM): uyarı çıktığında kazanan ilan edilmez. Bkz. Veri Güvenilirliği.

Yapılmaması gerekenler

Hata	Neden yanlış
Her gün bakıp kazanan çıkınca durdurmak	Yeterince bakarsanız her deney bir gün "kazanan" gösterir
Kaybeden kolu erken kaldırmak	Dağılımı bozar, kalan veri yorumlanamaz
Beş metriğe bakıp iyi olanı seçmek	Birinin şansa iyi çıkma olasılığı yüksektir
Ortasında varyantı değiştirmek	Öncesi ve sonrası karışır; sistem değişen kolun sayacını sıfırlar

Sonuç çıkmazsa

Bir deney sonuçsuz kalabilir ve bu normaldir. Küçük değişikliklerin çoğu ölçülebilir bir fark yaratmaz. Daha cesur bir değişiklik deneyin: metin yerine tetikleyici stratejisini, konum yerine widget tipini değiştirin. Bir sayfa deneyinde önce değişiklik sağlığına bakın: iki kol aynı sayfayı gösteriyorsa sonuç bir ölçüm değildir.