Kanıt
A/B testleri
İki sayfayı ya da tek bir sayfanın değişiklik öncesi ve sonrası halini, seçtiğiniz sorularda AI cevaplarının her sürümü ne sıklıkla kaynak gösterdiğine göre karşılaştırın.
A/B testi, içeriğinizin iki sürümünden hangisini AI motorlarının daha çok kaynak gösterdiğini söyler. İki sayfa — ya da belli bir tarihte değiştirdiğiniz tek bir sayfa — ve sayfanın kazanması gereken soruları seçersiniz. Rixe her gün zaten topladığı cevaplarda her sürümün ne sıklıkla kaynak gösterildiğini sayar ve ancak fark net olduğunda bir kazanan ilan eder.
Tek bir değişiklik hakkında temiz bir cevap istediğinizde kullanın. Etkiler yaptığınız her değişikliği ölçer, ama birkaç değişiklik çakıştığında onları birbirinden ayıramaz; test ayırabilir.
Nerede bulunur
Aksiyonlar › Aksiyon planı, Etkiler sekmesi, ardından A/B testleri (https://app.rixe.ai/actions?tab=impact&view=ab).
İki tür test
| Tür | Ne zaman kullanılır | Nasıl karşılaştırılır |
|---|---|---|
| İki sayfa (A ve B) | Aynı sorular için yarışan iki canlı sayfa — örneğin eski bir rehber ve yenisi. | İki sayfa da aynı cevaplarda kontrol edilir; yani aynı soru, motor ve gün ikisi için de geçerlidir. Onları yalnızca birini gösterip diğerini göstermeyen cevaplar ayırır. |
| Tek sayfa, değişiklikten önce ve sonra | Bir sayfayı belli bir tarihte yeniden yazdınız ya da yapısını değiştirdiniz. | Sayfanın değişiklikten sonraki kaynak gösterilme oranı (B), değişiklikten önceki aynı uzunluktaki dönemle (A) karşılaştırılır. Aynı haftalardaki diğer sorularınız karşılaştırma grubu olur; böylece her şeyi etkileyen bir yükseliş değişikliğe yazılmaz. |
Test başlatmak
- Yeni A/B testi altında bir Test adı girin.
- Neyi karşılaştıracaksınız alanında İki sayfa (A ve B) ya da Tek sayfa, değişiklikten önce ve sonra seçin.
- Adresleri girin: Sayfa A (adres) ve Sayfa B (adres) — iki farklı sayfa olmalı — ya da Sayfa adresi ve Değişiklik tarihi. Bu tarihten öncesi A, sonrası B'dir; iki dönem aynı uzunluktadır.
- B'deki değişikliğin türü alanını seçin (sayfa düzenlemesi, içerik yayını, teknik düzeltme, kaynak listelenmesi, diğer). Biten test, bu tür işlerin tahmini için kanıt olur.
- Ne kadar sürecek alanından 14, 30, 60 ya da 90 gün seçin.
- Ölçülecek sorular listesinden soruları işaretleyin. Bu çalışma alanında zaten izlediğiniz sorular olmalı; hiç yoksa önce soru ekleyin.
- Testi başlat düğmesine basın. İlk sonuç bu geceki ölçümden sonra görünür.
Kazanan nasıl belirlenir
Rixe her taraf için o sayfayı kaynak gösteren cevapların payını ve B − A farkını %95 aralıkla hesaplar.
- Aralığın tamamı sıfırın üstündeyse B kazanıyor, fark anlamlı.
- Tamamı sıfırın altındaysa A kazanıyor, fark anlamlı.
- Aralık sıfırı içine alıyorsa Henüz ayırt edilemiyor.
- Taraflardan birinde 20'den az cevap varsa hiç karar verilmez: Şimdilik çok az cevap var.
Skora 4 ölçüm yetiyorsa neden 20 cevap?
Bir skorun bir düzey gösterebilmesi için en az 4 ölçüm gerekir. Karşılaştırma ise daha fazlasını ister: 20 cevapta bile bir kaynak gösterilme oranının %95 aralığı yaklaşık ±20 puan genişliğindedir; bunun altında gerçekçi hiçbir sayfa değişikliği ayırt edilemez.
Önce-sonra testlerinde, karşılaştırma grubu kullanıldıysa sonuçta Diğer sorularınızla karşılaştırıldı yazar; çalışma alanında karşılaştırılacak başka soru yoksa Karşılaştırma grubu yok: aynı haftalardaki başka değişiklikler ayıklanmadı yazar. İkinci türdeki sonuçlara daha temkinli yaklaşın.
Bir testi okumak
Her test kartında şunlar yer alır:
- türü, durumu (Sürüyor, Bu gece bitiyor ya da Bitti) ve dönemi ya da değişiklik tarihi;
- Soru sayısı: N ve Cevap sayısı: N;
- karar rozeti;
- Kaynak gösterilme: A …, B … (ya da Kaynak gösterilme: önce …, sonra …);
- B − A: N puan (alt – üst) — fark ve aralığı;
- Kazanan nasıl belirleniyor — o test türünün yöntemini anlatan kısa bir açıklama;
- en son sonucun tarihiyle Ölçüm.
Şimdi bitir testi erken durdurur; Sil testi ve sonucunu kaldırır.
İpuçları
- Sayfanın gerçekten kaynak gösterilebileceği soruları seçin. Fiyatlarla ilgili bir sayfa "en iyi araçlar…" sorularında kaynak gösterilmez ve test Şimdilik çok az cevap var durumunda kalır.
- Kaynak gösteren motorları tercih edin. Arama yapmadan cevap veren motorlar kaynak döndürmez; bu da sayılabilecek cevapların azalması demektir.
- Tek bir şeyi değiştirin. B, A'dan beş farklı yönden ayrılıyorsa kazanmak B'nin daha iyi olduğunu söyler, nedenini değil.
- Çok sayıda sorunuz yoksa varsayılan 30 günü koruyun; kısa testler çoğu zaman kararsız biter.
Limitler ve paketler
A/B testleri tüm paketlerde vardır ve Rixe'nin zaten topladığı ölçümleri kullandığı için ek maliyeti yoktur. Bir test en fazla 200 soru üzerinde çalışır. Bkz. Paketler ve limitler.
İlgili sayfalar
Takıldığınız bir yer mi var? [email protected] adresine yazın, bir kişi cevap verir.