Veri Güvenilirliği

Sonuç sayfasındaki iki kontrol, rakamların güvenilir olup olmadığını söyler: ziyaretçi başına gelir için bir güven aralığı ve kolların beklenen trafiği alıp almadığını sınayan bir uyarı. Dönüşüm oranının nasıl sınandığı için İstatistiksel Anlamlılık sayfasına bakın.

Panelde nerede

Deney sonuç sayfası: Performance by Variant tablosunun RPV sütunu ve sayfanın üstündeki kırmızı uyarı. Bkz. Sonuç Analizi.

Ziyaretçi başına gelir

RPV sütununda, kontrol dışındaki her kolun altında gelir farkı ve güven aralığı yazar: örneğin "Fark 4,00 TL (−0,38 … 8,38), %95 aralık". Gelir, birkaç büyük siparişle oynayabilen ve çoğu ziyaretçi için sıfır olan bir değerdir; bu yüzden oran testi uygulanmaz, ortalamalar farkı için aralık hesaplanır (Welch yöntemi, her ziyaretçi bir kez).

• Aralık sıfırı içeriyorsa gelir farkı şansla açıklanabilir.
• Aralık tamamen sıfırın üstündeyse kol kontrolden ziyaretçi başına daha fazla gelir getiriyor demektir; ne kadar fazla olduğu aralığın genişliği kadar belirsizdir.
• Her kolda en az 30 ziyaretçi ve en az 5 satın alan ziyaretçi olmadan aralık hesaplanmaz: "Not enough data for a revenue interval".
• Aralık, dönüşüm testiyle aynı (kol sayısına göre sıkılaştırılmış) güvenle hesaplanır.

Kampanyayı görmeyen kolu olan deneylerde gelir ve ortalama sipariş tutarı yalnızca gözlemdir; bkz. Kampanyayı Görmeyen Kol.

Trafik dağılımı uyarısı (SRM)

Her kol, ayarladığınız payda ziyaretçi almalıdır. Gözlenen ziyaretçi sayıları paylardan istatistiksel olarak anlamlı biçimde saparsa (ki-kare testi, p değeri 0,001'in altında; en az 100 toplam ziyaretçiyle), sayfanın üstünde kırmızı bir uyarı çıkar ve bu deneyde kazanan ilan edilmez. Uyarı her kolun gözlenen ve beklenen payını yazar.

Böyle bir sapma şans değildir; bir koldan ziyaretçi düştüğünü gösterir: kol hata veriyor, ziyaretçiyi yönlendiriyor ya da maruz kalma kaydedilmiyor olabilir. Kollar artık aynı kitleyi karşılaştırmaz ve hiçbir oran güvenilir değildir. Payı düşük kalan kolu kontrol edin, düzeltin ve deneyi yeniden başlatın.