Sonuç Analizi

Sonuç sayfası, deneyin kollarını yan yana koyar. Hangi sayının neyi saydığını bilmek, sonucu doğru okumanın yarısıdır.

Panelde nerede

Kişiselleştirme → A/B Testleri (Personalization → A/B Testing) deney (listede bir satıra ya da View details'e tıklayın). Sayfa 30 saniyede bir kendini yeniler. Yenileme başarısız olursa sarı bir uyarı, rakamların son başarılı okumadan olduğunu söyler.

Sayfanın üstünde deneyin adı, durumu, kurulum biçimi (Different Module / Config Override), varsa Applied to everyone rozeti ve Started tarihi ile Start Experiment, Pause, Complete, Resume düğmeleri durur.

Sonuç özeti

Sayfanın en üstündeki kutu kararı cümleyle söyler:

• Sonucu belirleyen hedef: birincil hedefin adı. Kazananı yalnızca o belirler.
• Durum: bir kol kazandıysa adı ve kontrole göre farkı; kontrol anlamlı biçimde öndeyse "Kontrol daha iyi"; aksi halde Henüz karar yok ve önde görünen kol ile en iyi kol olma olasılığı.
• Neden henüz kazanan yok: kararı tutan kurallar tek tek yazılır: fark güven eşiğine ulaşmadı, deney en az 7 gün çalışmadı, bir kol deneyde belirlenen minimum ziyaretçiye ulaşmadı, test için veri yetersiz ya da trafik dağılımı ayarlanandan sapmış. %95,8 kazanma olasılığı olan bir kolun neden hâlâ "Kararsız" olduğu burada okunur.
• Diğer hedeflerde durum: her ikincil hedefte hangi kolun önde olduğu, farkı ve olasılığı; farkın anlamlı olup olmadığı ya da testi geçip örneklemi beklediği. Bir varyant dönüşümde kaybedip gelirde kazanabilir; bu satırlar bunu açıkça gösterir.

Üstteki altı kart

Kart	Ne sayar
Visitors	Tüm kollarda deneye giren tekil kişi. Altında "views": ham gösterim sayısı (kimsenin paydası değildir).
Birincil hedef (ör. Conversion — visitors reached)	Birincil hedefe ulaşan tekil kişi ve oranı. Kart, hedefin adını taşır; A/B Test'te Dönüşüm sipariş veren, Tıklama Oranı tıklayan ziyaretçidir.
Orders	A/B Test'te kolların ziyaretçilerinin deneye girdikten sonra verdiği sipariş sayısı. Sayfa deneylerinde sipariş sayılmaz ve kart bunu söyler.
Net Order Revenue / Total Revenue	A/B Test'te o siparişlerin tutarı: iptaller hariç, iadeler düşülmüş. Sayfa deneylerinde mağazanın deney hedefiyle bildirdiği tutar.
Revenue / Visitor	Gelir ÷ deneydeki tüm ziyaretçiler
Avg. Order Value	Gelir ÷ sipariş sayısı. Sipariş sayılmayan deneyde —.

Ölçülmemiş bir rakam — olarak gösterilir ve sıfır değildir. Deney henüz ziyaretçi toplamadıysa ya da gelir hiç kaydedilmediyse çizgi görürsünüz. Her hedefin neyi saydığı için Hedefler.

Okunabilir mi?

Can this be read yet? çubuğu (taslak olmayan deneylerde) iki şartı gösterir: en yavaş kolun minimum örnekleme yüzde kaçında olduğu ve deneyin kaç gündür çalıştığı. İkisi de tamamsa "Sample and duration are both met" yazar; örneklem tamam, süre değilse tam bir haftayı kapsamak için kalan gün yazılır. Bkz. Süre ve Örneklem.

Goal results: her hedef kendi istatistiğiyle

Her hedef için, her kolun kartında:

• Goal rate ve ulaşan ziyaretçi (oran hedefleri) ya da Revenue per visitor ve gelir (gelir hedefi).
• Vs control: kontrole göre göreli fark. Oran hedefinde oranın, gelir hedefinde ziyaretçi başına gelirin farkıdır; aynı satırda iki farklı metriğin farkı karışmaz.
• Confidence (oran hedefleri; yanında eşik yazar) ya da Difference range (gelir hedefi; ziyaretçi başına gelir farkının güven aralığı). Aralık sıfırı içeriyorsa fark şansla açıklanabilir.
• Probability to win: bu kolun bu hedefte en iyi kol olma olasılığı; gelir hedefinde ziyaretçi başına gelir üzerinden hesaplanır.
• Sonuç rozeti: Winner, Underperformed, Inconclusive ya da kontrol için Baseline.

Ölçülemeyen bir hedefin üstünde nedeni yazar (örneğin kampanyayı görmeyen kolu olan deneyde tıklama).

Metrics by Variant tablosu

Kol başına bir satır; kontrol grimsi vurgulanır. Bu tablo yalnızca rakamları yan yana koyar; istatistik her hedefin kendi bölümündedir.

Sütun	Anlamı
Variant, Module	Kolun adı; A/B Test'te gösterdiği modül. "Not shown" kampanyayı göstermeyen kol, "Original" ise özgün modül.
Visitors	Kola giren tekil kişi
Clicked	A/B Test'te tıklayan kişi ve oranı (tıklama ölçülen deneylerde)
Purchased	A/B Test'te sipariş veren kişi ve oranı. Sayfa deneylerinde bunun yerine birincil hedefe ulaşan kişi yazar.
Orders	A/B Test'te kolun sipariş sayısı
Revenue	A/B Test'te net sipariş geliri; sayfa deneylerinde hedefle bildirilen tutar
RPV	Gelir ÷ ziyaretçi. Test kollarının altında ziyaretçi başına gelirin kontrole göre farkı yazar; bkz. Veri Güvenilirliği.
Avg. order value	Gelir ÷ sipariş sayısı (A/B Test)
Outcome (Sonuç)	Başlığında birincil hedefin adı yazar. Winner (Kazanan), Underperformed (Düşük Performans), Inconclusive (Kararsız), kontrol için Baseline (Referans), "herkese uygula" değişiklikleri için Not tested

Inconclusive "fark yok" demek değildir: yeterli veri toplanmadığını söyler. Oranların paydası gösterim değil ziyaretçidir: aynı kişinin birden çok sayfa görmesi oranı düşürmez.

Diğer bölümler

• Compared with visitors who did not see the campaign: kampanyayı görmeyen kolu olan deneylerde. Bkz. Kampanyayı Görmeyen Kol.
• Traffic split departs from the configuration: kırmızı uyarı; kazanan ilan edilmez. Bkz. Veri Güvenilirliği.
• Test link: deney test modundaysa. Bkz. Kitle ve Test Modu.

Sayfa deneylerinde: değişiklik sağlığı

Change Health bölümünde her kolun kartında, her değişiklik için sayfa görüntülemelerinin yüzde kaçında ögeyi bulduğu yazar ("What “…” actually did"). Bu, "berabere" sonucunun iki sebebini ayırır:

• Eşleşme yüksek, fark yok: değişiklik uygulandı ve bir şey değiştirmedi.
• Eşleşme çok düşük: değişiklik uygulanmadı, iki kol da orijinal sayfayı gösterdi ve sonuç bir ölçüm değildir.

En az 50 rapor gelmeden bir değişiklik "yeterli sayfa görüntülemesi yok" diye işaretlenir. Hata oranı %5'i aşan ya da eşleşme oranı %20'nin altına inen değişiklik bozuk sayılır, o kol kazanan ilan edilemez ve deney saatlik kontrolde otomatik duraklatılır. Yedek seçiciyle çalışan bir değişiklik uyarı alır. Bkz. Sayfa Deneyi Sağlığı ve Güvenlik.

Sonuçları nasıl okumalı

Üç şeye birlikte bakın: örneklem yeterli mi, fark anlamlı mı, fark pratik olarak önemli mi (%0,2'lik anlamlı bir fark uygulamaya değer mi?). İkincil hedefleri bir uyarı olarak okuyun: birincil metrikte kazanan bir kol ikincil metrikte belirgin kötüleşiyorsa durup düşünün. Gelir farkını kendi aralığıyla okuyun: aralık sıfırı içeriyorsa tek büyük sipariş farkı açıklayabilir; az sipariş varken panel aralık yerine "yetersiz veri" yazar.

Sonuç	Ne yapmalı
Test kazandı, güven yüksek	Kazananı kampanyaya ya da modüle elle taşıyın ve Complete deyin
Kontrol kazandı	Değişikliği uygulamayın; bu da bir sonuçtur
Kararsız	Devam edin ya da daha büyük bir fark yaratacak bir değişiklik deneyin

Kazananı deney otomatik uygulamaz.