Sonuç Analizi

Deney sonuçlarını okumak.

Panelde nerede

Experiments → deney → Results.

Tablo

Her varyant için:

Sütun	Anlamı
Ziyaretçi	Bu kola giren tekil kişi sayısı
Dönüşenler	Bu kolda dönüşen tekil kişi sayısı
Dönüşüm oranı	Dönüşen ziyaretçi ÷ ziyaretçi
Gelir	Kola atfedilen toplam ciro
Ziyaretçi başına gelir	Gelir ÷ ziyaretçi
Fark	Kontrol varyantına göre değişim
Güven	Sonucun güvenilirlik düzeyi

Ölçüm başlamadan önceki deneylerde bu sütunlar — gösterir. Bu "sıfır" değildir: o deney bu şekilde ölçülmedi, ve ölçülmemiş bir sıfır ile gerçek bir sıfır ekranda aynı görünmemeli.

Nasıl okunur

Üç şeye birlikte bakın:

1. Örneklem yeterli mi — belirlediğiniz minimum örneklem büyüklüğüne ulaşıldı mı?
2. Fark anlamlı mı — güven düzeyi eşiğin üstünde mi?
3. Fark pratik olarak önemli mi — %0,2'lik istatistiksel olarak anlamlı bir fark, uygulamaya değer mi?

Üçü birden sağlanmadan karar vermeyin.

Sonuç senaryoları

Sonuç	Ne yapmalı
Test kazandı, güven yüksek	Kazananı kalıcı hale getirin
Kontrol kazandı, güven yüksek	Değişikliği uygulamayın — bu da bir sonuçtur
Fark yok	Değişiklik önemsiz. Kontrolde kalın, başka bir şey deneyin.
Güven düşük	Devam edin ya da deneyi sonlandırıp daha büyük bir fark yaratacak bir değişiklik deneyin

"Fark yok" sonucu başarısızlık değildir: değiştirmeyi düşündüğünüz şeyin önemsiz olduğunu öğrendiniz ve enerjinizi başka yere yönlendirebilirsiniz.

Gelir neden ayrı durur

Gelir için anlamlılık testi uygulanmaz ve panel bunu söyler. Dönüşüm oranı bir orandır ve iki oranlı test onun için yazılmıştır; ziyaretçi başına gelir bir oran değildir ve ağır kuyrukludur — tek bir büyük sipariş, varyantın kendisinden daha fazla oynatabilir. Gelir farkını bir gözlem olarak okuyun, bir sonuç olarak değil.

Kampanyayı görmeyenlerle karşılaştırma

Deneyde kampanyayı göstermeyen bir kol varsa sonuç sayfasında Kampanyayı görmeyenlerle karşılaştırma paneli çıkar. Kampanyayı gösteren her kol, kampanyayı hiç görmeyen kolla doğrudan karşılaştırılır; o kol kontrol olsun ya da olmasın.

Sütun	Anlamı
Satın alma oranı	Sipariş veren ziyaretçi ÷ ziyaretçi
Fark	Satın alma oranları arasındaki fark, puan olarak. Örneklem yetersizse fark yazılmaz, yetersiz veri yazılır.
Güven	Kontrol karşılaştırmasıyla aynı test
Ziyaretçi başına gelir	Gelir ÷ ziyaretçi
Ort. sipariş tutarı	Gelir ÷ sipariş sayısı

Böyle bir deneyde dönüşüm, sipariştir: kampanyaya tıklama sayılmaz, çünkü kampanyayı görmeyenin tıklayacak bir şeyi yoktur. Bir sipariş, ancak deneyin kampanyayı gösterdiği ya da göstereceği anda saydığı bir ziyaretçiden geliyorsa sayılır.

Fark, oranlar arasında puan olarak verilir, kat olarak değil: %1 ile %2 arasındaki fark "iki kat" diye okununca olduğundan büyük görünür. Ziyaretçi başına gelir ve ortalama sipariş tutarı burada da gözlemdir; anlamlılık testi uygulanmaz.

Sayfa deneylerinde: değişiklik sağlığı

Sayfa deneyi çalıştırıyorsanız tabloda bir de her değişikliğin eşleşme oranı vardır: sayfa görüntülemelerinin yüzde kaçında ögeyi bulabildiği.

Bu sütun, "berabere" sonucunun iki farklı sebebini ayırır:

• Eşleşme %100, fark yok → değişiklik uygulandı ve gerçekten bir şey değiştirmedi.
• Eşleşme %0 → değişiklik hiç uygulanmadı. İki kol da orijinal sayfayı gösterdi; sonuç bir ölçüm değil.

İkincisinde seçiciyi düzeltin ve deneyi yeniden başlatın. Eski örneklem bir şey ölçmediği için taşınmaz.

İkincil metrikler

İkincil hedefler karar vermez ama uyarı verir. Birincil metrikte kazanan bir varyant ikincil metrikte belirgin şekilde kötüleşiyorsa (örneğin dönüşüm arttı ama ortalama sepet tutarı düştü) durup düşünün.

Kazananı uygulamak

Deney kazananı otomatik uygulamaz. Kazanan varyantın ayarlarını ilgili kampanya veya widget'a elle taşıyıp deneyi completed durumuna alın.