A/B testda peeking: natijani erta koʻrish nega uni buzadi

Uchinchi kuni A/B test yashil chiroq beradi: yangi tugma konversiyani oshirdi, p-qiymat 0,03. Siz testni toʻxtatib, oʻzgarishni hamma foydalanuvchiga yoqasizmi? Natija yaxshi koʻrinadi, shuning uchun shunday qilishga koʻpchilik moyil. Statistika nuqtai nazaridan esa aynan shu qaror eng koʻp yolgʻon gʻalabalarni keltirib chiqaradi. Bu misol gipotetik, ammo mualliflar sanoat amaliyotida doimiy kuzatuv uchun odatda hech qanday tuzatma kiritilmasligini yozadi.

Avval atamani aniqlashtiramiz: A/B test, yaʼni onlayn nazoratli eksperiment, saytning yoki reklamaning ikki variantini tasodifiy tanlangan odamlarga koʻrsatib, qaysi biri yaxshiroq ishlashini solishtiradi. Odamlar tasodifiy boʻlinadi, shu sababli ikki guruh boshqa jihatlardan bir-biriga oʻxshash boʻlishi kerak va farq oʻzgarishdan kelgan deb oʻqiladi.

Peeking nima va u nega natijani buzadi

p-qiymat quyidagini aytadi: agar haqiqatda farq boʻlmasa, shunday yoki bundan kuchliroq natijani tasodifan koʻrish ehtimoli qancha. Odatiy chegara 5 foiz, yaʼni farq boʻlmaganda ham yigirmata testdan bittasi tasodifan «yutadi». Bu hisob bitta shart bilan toʻgʻri: namuna hajmi oldindan belgilangan va test shu hajmga yetganda bir marta tekshiriladi.

Testni har kuni ochib, birinchi yashil chiroqda toʻxtatsangiz, siz bitta emas, koʻp marta imtihon topshirgan boʻlasiz. Har bir qarash tasodifan «yutish» imkoniyatini qoʻshadi. Evan Miller shunday hisob keltiradi: konversiya 50 foiz, yangi logotip hech narsani oʻzgartirmaydi, siz har kuzatuvdan keyin tekshirasiz va 150 kuzatuvgacha kutasiz. Bunda yolgʻon «gʻalaba» ehtimoli 26,1 foizga chiqadi, yaʼni belgilangan 5 foizdan besh barobardan koʻp.

Buni tanga bilan tushunish oson, bu oʻquv misoli. Ikkita bir xil tanga olib, ularni birga tashlab boramiz. Birinchi marta bittasi ikkinchisidan koʻproq «gerb» tushirgan zahoti toʻxtatib, «bu tanga yaxshiroq» desak, xulosamiz deyarli har safar yolgʻon boʻladi, chunki tangalar bir xil. Toʻxtatish paytini natijaga qarab biz oʻzimiz tanlaganmiz, tasodif esa ertami-kechmi biror tomonni oldinga chiqarib qoʻyadi.

Johari va hamkasblari bu muammoni A/B test platformalari nuqtai nazaridan oʻrgangan. Ularning preprintiga koʻra 10 000 kuzatuvli, yaʼni onlayn testlar uchun odatiy hajmdagi tajribada birinchi tur xato osonlik bilan besh barobar oshishi mumkin. Shu mualliflar guruhi 2017 yilda KDD konferensiyasida «A/B testlarga qarab turish: nega muhim va nima qilish kerak» nomli maqola ham chop etgan.

Qanday toʻgʻrilanadi: uchta yoʻl

Yoʻllar uchta, va har birining oʻz kamchiligi bor. Quyidagi jadval ularni yonma-yon qoʻyadi.

Birinchi yoʻl eng oddiy: namuna hajmini oldindan hisoblab, shu hajmga yetmaguncha natijaga qaramaslik kerak. Miller bunga «qarama» deb sarlavha qoʻyadi va taxminiy qoidani beradi: kerakli hajm 16 ni kutilgan dispersiyaga koʻpaytirib, aniqlanishi kerak boʻlgan eng kichik farqning kvadratiga boʻlish bilan topiladi. Oddiy qilib aytganda, farq qancha kichik boʻlsa, hajm shuncha koʻp kerak.

Ikkinchi yoʻl ketma-ket testlash boʻlib, Johari va hamkasblari «doim haqiqiy» p-qiymat va ishonch oraligʻini taklif qildi. Ular qaysi paytda toʻxtatishdan qatʼi nazar, yolgʻon natija ehtimolini belgilangan darajada ushlab turadi. Mualliflar usulni yirik tijorat A/B test platformasiga joriy qilgani va yuz minglab tajribada qoʻllanganini yozadi. Optimizely hujjatida natijalar yangi maʼlumot kelgani sari yangilanadigan ketma-ket rejim va toʻliq maʼlumot yigʻilgach bir marta hisoblanadigan oldindan belgilangan rejim alohida berilgan.

Uchinchi yoʻl Bayes yondashuvi: unda natija «variant boshqasidan yaxshiroq boʻlish ehtimoli» deb oʻqiladi va muddat moslashuvchan boʻladi. Miller ham bu yoʻlni veb-tajribalar uchun istiqbolli deb atagan. Lekin uni tanlaganda ham oʻqish usuli oʻzgaradi: p-qiymat oʻrniga ehtimol bilan ishlashga toʻgʻri keladi.

Bu imkoniyatning oʻz haqi bor: Statsig hujjatiga koʻra ketma-ket test har bir koʻrsatkichning ishonch oraligʻini kengaytiradi, shu sababli natijani «ahamiyatli» deb eʼlon qilish uchun u kuchliroq boʻlishi kerak. Hujjat erta qarorlar koʻpincha quvvati yetarli boʻlmagan va noaniqligi katta baho beradi, deb ogohlantiradi. Shu bilan birga Statsig kuzatishni butunlay taqiqlamaydi: kutilmagan yomonlashuvni tez ushlash kerak boʻlganda ketma-ket rejimda muntazam qarashni oqilona deb hisoblaydi.

Boshqa xato: tajriba notoʻgʻri yigʻilgan boʻlishi mumkin

Peeking faqat bitta muammo: tajribaning oʻzi notoʻgʻri yigʻilgan boʻlishi mumkin, buni koʻrsatadigan eng oddiy belgi esa namuna nisbatining ogʻishi, yaʼni SRM. Agar tajriba 50 va 50 deb rejalashtirilgan boʻlsa-yu, guruhlarga tushgan odamlar soni bunga mos kelmasa, nimadir buzilgan. Fabijan va hamkasblari buni isitmaga oʻxshatadi: u koʻp kasallikning belgisi boʻladi, sababni esa alohida izlash kerak.

Gipotetik hisob. 10 000 odam kirgan 50 va 50 tajribada 5 000 va 5 000 kutiladi. Bunday hajmda tasodifiy ogʻishning odatiy kattaligi taxminan 50 ta. Agar 5 400 va 4 600 chiqsa, ogʻish 400 ta, yaʼni odatiy kattalikdan sakkiz barobar katta, buni esa tasodif deb tushuntirib boʻlmaydi.

Sabablar tajribaning turli bosqichlarida uchraydi. Guruhlar turli vaqtda ishga tushsa, keyingisi kamroq odam yigʻadi. Bir variant botlarni koʻproq belgilab, haqiqiy odamlarni roʻyxatdan chiqarib yuborishi mumkin. Sekinroq variantda odam hisob yozilishidan oldin sahifani tark etadi. Foydalanuvchilar yaxshi variant havolasini oʻzaro ulashishi ham mumkin. Fabijan maqolasi toʻrtta kompaniyadagi 25 dan ortiq mahsulot tajribasiga tayanadi. Qoida oddiy: SRM bor boʻlsa, natijaga ishonishdan oldin sababni topish kerak, chunki eʼtiborsizlik yomon oʻzgarishni yoyishga yoki yaxshisini rad etishga olib kelishi mumkin.

Koʻp koʻrsatkich, koʻp variant: tasodifiy gʻalabalar

Yana bir tuzoq: bir testda koʻp narsa tekshirilganda biri tasodifan yutib chiqadi. Yigirmata mustaqil koʻrsatkichni 5 foizli chegara bilan tekshirsangiz, kamida bittasi tasodifan ahamiyatli chiqish ehtimoli taxminan 64 foizga yetadi. Bu oddiy hisob: bir minus 0,95 ning yigirmanchi darajasi. Koʻrsatkichlar bir-biriga bogʻliq boʻlsa raqam kamroq boʻladi, lekin muammo qoladi.

Johari va hamkasblari ketma-ket sharoitda koʻp gipotezani nazorat qiluvchi usulni ham koʻrsatgan. Kohavi, Tang va Xu kitobi esa ishonchlilik masalasiga alohida bob bagʻishlagan: «Twyman qonuni va tajribaga ishonch». Qonunning mohiyati odatda shunday aytiladi: gʻayrioddiy yaxshi koʻringan natija koʻpincha xato boʻladi. Kitob mualliflari Microsoft, Google va LinkedInʼda eksperiment dasturini boshqargan, nashriyot tavsifiga koʻra bu kompaniyalarning har biri yiliga 20 000 dan ortiq eksperiment oʻtkazadi.

Bugungi amaliyot va kichik saytlar uchun xulosa

Eski odat, yaʼni «natija yaxshi, toʻxtatamiz», endi vositalarda ham oʻzgargan. Optimizely ketma-ket va oldindan belgilangan rejimni alohida beradi, Statsig esa doimiy kuzatuv yolgʻon musbat ehtimolini oshirishini hujjatda yozadi. Lekin vosita muammoni oʻzi hal qilmaydi: rejimni tanlash va namuna hajmini oldindan hisoblash hamon sizning ishingiz.

Trafigi kam saytda kichik farqni koʻrish uchun uzoq kutishga toʻgʻri keladi. Bu tahririyat mulohazasi, lekin u Millerning qoidasidan kelib chiqadi: aniqlanishi kerak boʻlgan farq ikki barobar kichiklashsa, kerakli hajm taxminan toʻrt barobar oshadi. Shu sababli kichik saytda koʻp mayda oʻzgarishni sinagandan koʻra bitta katta oʻzgarishni sinash mantiqliroq.

Amalda nima qilish mumkin

Quyidagilar manbalardan chiqarilgan tahririyat xulosasi.

1. Testni boshlashdan oldin hajm va muddatni yozib qoʻying: qancha odam, necha kun, qaysi eng kichik farq.
2. Tez qarash zarur boʻlsa, vositaning ketma-ket rejimini tanlang va bu rejimda ishonch oraligʻi kengroq boʻlishini bilib qoʻying.
3. Natijadan oldin guruhlar hajmini tekshiring: 50 va 50 deb rejalashtirilgan boʻlsa, shunday chiqqanmi.
4. Asosiy koʻrsatkichni oldindan bitta qilib belgilang, qolganlarini qoʻshimcha deb hisoblang.
5. Juda yaxshi natijani darhol hammaga yoymang. Avval maʼlumot yigʻilishidagi xatoni qidiring.

A/B test bitta savol beradi: bu oʻzgarish odamlarga haqiqatan taʼsir qiladimi. Peeking esa javob kelmasdan turib javob topishdir, va sabrning xarajati bir necha kun boʻlsa, notoʻgʻri gʻalabaning xarajati ancha katta boʻladi, chunki u hammaga yoyilgan xato qarorga aylanadi.