# İstatistiksel Anlamlılık

Ne zaman karar verilebilir
Kaynak: https://selwise.com/docs/experiments/significance

İki kol arasındaki her fark gerçek değildir. Yazı tura atarsanız 10 atışta 7-3 çıkabilir; bu paranın hileli olduğu anlamına gelmez. Deneylerde de küçük örneklemde tesadüfi farklar büyük görünür. Bu sayfa, sonuç sayfasındaki **Confidence**, **Probability to win** ve **Outcome** sütunlarının nasıl hesaplandığını anlatır.

## Panelde nerede

Deney sonuç sayfasının **Performance by Variant** tablosu; bkz. [Sonuç Analizi](/docs/experiments/results).

## Güven (Confidence)

Dönüşüm oranları için **iki oranlı z testi** kullanılır; birim ziyaretçidir, gösterim değil: aynı kişinin birden çok sayfa görmesi bağımsız deneme sayılmaz. **Güven = 1 − p**: kollar arasında gerçekte fark olmasaydı bu büyüklükte bir farkı yalnız şansla görme olasılığının tersi. Farkın gerçek olma olasılığını ya da büyüklüğünü söylemez.

**Test geçerli olabilmesi için** her kolda en az 30 ziyaretçi, en az 5 dönüşen ve en az 5 dönüşmeyen ziyaretçi gerekir. Altında panel güven yerine **—** yazar; "%5,5 güven" bir zayıf sonuç değil, sonuç olmamaktır. **Lift** ise düz aritmetiktir ve bu şart olmadan da gösterilir.

### Eşik: kaç kol varsa o kadar sıkılaşır

Her test kolu kontrolle ayrı bir karşılaştırmadır. Üç test kolunu ayrı ayrı %95 ile sınarsanız, hiç fark yokken bile birinin "anlamlı" çıkma olasılığı %14'e yükselir. Bu yüzden eşik, test kolu sayısına göre sıkılaştırılır:

| Test kolu sayısı | Bir kolun anlamlı sayılması için gereken güven |
|---|---|
| 1 (iki kollu A/B) | %95 |
| 2 | yaklaşık %97,5 |
| 3 | yaklaşık %98,3 |
| 4 | yaklaşık %98,7 |

Örneklem hesaplayıcısı aynı eşikle çalışır; bkz. [Süre ve Örneklem](/docs/experiments/sample-size).

## Kazanma olasılığı (Probability to win)

Z testi "bu iki oran farklı mı" sorusunu cevaplar; sizin sorunuz çoğu zaman "hangisini yayınlamalıyım". Bir deney haftalarca %95'in altında kalabilir ve bu sürede bir kol hep önde olabilir. **Probability to win**, her kolun dönüşüm oranına bir olasılık dağılımı uydurur (Beta dağılımı, eşit başlangıç varsayımı) ve her kolun **en iyi kol** olma olasılığını verir.

- Tüm kollar için toplam %100'dür; kontrol için de gösterilir.
- Hesap deterministiktir: sayfayı yenilemek rakamı oynatmaz.
- Hiç ziyaretçisi olmayan bir kol varsa ya da tek kol varsa **—** yazar; eşit bir bölüşüm uydurulmaz.

## Sonuç (Outcome) nasıl belirlenir

| Sonuç | Koşul |
|---|---|
| **Winner** (Kazanan) | Fark anlamlı (yukarıdaki eşikle), lift pozitif ve kazanma olasılığı en az %95 |
| **Underperformed** (Düşük Performans) | Fark anlamlı ve lift negatif |
| **Inconclusive** (Kararsız) | Diğer her durum |

**Inconclusive**, "fark yok" demek değildir; yeterli veri toplanmadığını söyler. Deneyin aşağıda anlatılan şekilde kaydedilmiş kazananı da, kazanma olasılığına bakılmaksızın **Winner** olarak işaretlenir.

## Kazanan nasıl kaydedilir

Deney **Complete** edildiğinde ve sonuç sayfası her yenilendiğinde sistem bir **kazanan** hesaplar; listedeki **Have Winners** sayısı ve **Winner** rozeti bundan gelir. Bir kolun kazanan olması için hepsi gerekir:

1. Kontrol kol var ve ziyaretçisi var (kontrolsüz "herkese uygula" değişikliklerinde kazanan olmaz).
2. Deney başlangıç tarihinden itibaren en az **7 gün** çalışmış.
3. Kollar yapılandırılan trafik payını almış ([SRM uyarısı](/docs/experiments/data-quality) yok).
4. Kol anlamlı ve pozitif liftte, ve **Minimum Sample Size** ayarlıysa hem kontrol hem kol bu sayıya ulaşmış.
5. Sayfa deneyinde kolun değişiklikleri sağlıklı: hata oranı %5'i aşmamış ve eşleşme oranı %20'nin altına inmemiş.

Birden çok kol koşulları sağlarsa lifti en yüksek olan kazanır. Kimse sağlamıyorsa kazanan yoktur; bu bir hata değil, sonuçtur.

## Gelir ve trafik kontrolleri

Gelir farkı için ayrı bir güven aralığı ve kolların beklenen trafiği alıp almadığını sınayan bir uyarı vardır (**SRM**): uyarı çıktığında kazanan ilan edilmez. Bkz. [Veri Güvenilirliği](/docs/experiments/data-quality).

## Yapılmaması gerekenler

| Hata | Neden yanlış |
|---|---|
| Her gün bakıp kazanan çıkınca durdurmak | Yeterince bakarsanız her deney bir gün "kazanan" gösterir |
| Kaybeden kolu erken kaldırmak | Dağılımı bozar, kalan veri yorumlanamaz |
| Beş metriğe bakıp iyi olanı seçmek | Birinin şansa iyi çıkma olasılığı yüksektir |
| Ortasında varyantı değiştirmek | Öncesi ve sonrası karışır; sistem değişen kolun sayacını sıfırlar |

## Sonuç çıkmazsa

Bir deney sonuçsuz kalabilir ve bu normaldir. Küçük değişikliklerin çoğu ölçülebilir bir fark yaratmaz. Daha cesur bir değişiklik deneyin: metin yerine tetikleyici stratejisini, konum yerine widget tipini değiştirin. Bir sayfa deneyinde önce [değişiklik sağlığına](/docs/experiments/results) bakın: iki kol aynı sayfayı gösteriyorsa sonuç bir ölçüm değildir.