Eksperiment madaniyati: marketing jamoasi testni qanday yuritadi

2012 yilda Microsoft xodimi Bing qidiruvida reklama sarlavhasini koʻrsatish usulini oʻzgartirishni taklif qildi. Ish katta emas edi, muhandisning bir necha kuni yetardi, ammo yuzlab taklif orasida u past ahamiyatli deb baholandi va olti oydan koʻp navbatda yotdi. Keyin kod yozish arzonligini koʻrgan bir muhandis oddiy A/B test ishga tushirdi. Bir necha soatda daromad shu qadar yuqori chiqdiki, tizim «haddan tashqari yaxshi» degan ogohlantirish berdi, odatda esa bunday signal xatoni bildiradi. Tekshiruv xato yoʻqligini koʻrsatdi: oʻzgarish daromadni 12 foizga oshirgan, yiliga faqat AQShning oʻzida 100 million dollardan ortiq. Mualliflar uni Bing tarixidagi eng yaxshi gʻoya deb ataydi, qiymati esa testgacha past baholangan edi.

Bu voqea ikki narsani koʻrsatadi. Birinchisi, gʻoyaning qiymatini oldindan aytish qiyin, hatto uni koʻrib chiqqan mutaxassislar uchun ham. Ikkinchisi, koʻp testni arzon va bir vaqtda yuritadigan jamoa bunday imkoniyatni qoʻldan bermaydi. Kichik marketing jamoasi shu mantiqdan foydalana oladi, faqat uni oʻz hajmiga moslashtirishi kerak.

Eski gʻoya: nazorat guruhisiz xulosa chiqarib boʻlmaydi

Tajriba tushunchasi onlayn reklamadan ancha eski. 1747 yilda Qirollik dengiz flotining jarrohi James Lind sinqa kasalligining oltita davosini sinab koʻrdi: bir kema safarida ayrim dengizchilarga apelsin va limon, boshqalariga sirka kabi vositalar berildi. Sitrus mevalar kasallikning oldini oldi, sababi esa hech kimga maʼlum emas edi. Lind kislotalilik asosiy omil deb oʻyladi va limon sharbatini qizdirib quyultirdi, bu esa C vitaminini yoʻqotdi. Mualliflarning fikricha, qizdirilgan va qizdirilmagan sharbat bilan yana bir tajriba oʻtkazilsa, davo ancha erta topilgan boʻlardi. Ular sababni tushunishni ham tavsiya qiladi, ammo foydalanuvchi xulqida nazariyasiz ham foyda olish mumkinligini qoʻshimcha qiladi.

Nazoratsiz kuzatuv nega aldashi mumkinligini Yahoo misoli koʻrsatadi. Kompaniya oʻz saytlaridagi brend reklamasi brend nomi boʻyicha qidiruvlarni oshiradimi, deb tekshirdi. Kuzatuv qismi qidiruvlar 871 dan 1198 foizgacha oshgan deb baholadi, nazoratli tajribada esa oʻsish atigi 5,4 foiz chiqdi. Kuzatish davrida oʻzgargan boshqa omillar farqni reklamaga yozib yuborgan edi.

Gʻoyalarning koʻpi ishlamaydi, mutaxassislar ham adashadi

Kohavi va Thomke raqamlarni ochiq yozadi: Google va Bing tajribalarining atigi 10–20 foizi ijobiy natija bergan, Microsoftning butun miqyosida esa uchdan bir qismi samarali, uchdan biri neytral, uchdan biri zararli chiqqan. Mualliflar buni shunday tushuntiradi: shahzodani topish uchun koʻp qurbaqani oʻpish kerak, yaʼni juda koʻp tajriba oʻtkazish kerak.

Katta xarajat natijaga ishonch bermaydi. Bing qidiruviga ijtimoiy tarmoq kontentini qoʻshish 25 million dollardan ortiq turdi, faollik va daromadga esa deyarli taʼsir qilmadi. Boshqa tomondan, Hotmail havolasini yangi oynada ochish kabi mayda taklif faollikni 8,9 foiz oshirdi. Qidiruv natijalarini yangi oynada ochish esa bosishlarni yana 5 foizga koʻpaytirdi, buning uchun bir necha qator kodni oʻzgartirish yetgan.

Bu raqamlar qidiruv tizimi mahsuloti haqida, marketing matnlari, sahifalar yoki aksiyalar uchun aynan shu ulush nomaʼlum. Mantiq esa oʻxshash: oʻz fikriga tayanib har oʻzgarishni hammaga yoygan jamoa ish bermaydigan ishni ham kengaytiradi, ish beradiganini esa kechiktiradi. Bu tahririyat xulosasi.

Madaniyat shior emas, takrorlanadigan odatlar

Maqola va kitob mundarijasidan toʻrt odat ajratib olish mumkin.

• Koʻp narsani sinash. Bingda taklif qilingan oʻzgarishlarning taxminan 80 foizi avval nazoratli tajriba sifatida oʻtkaziladi.
• Muvaffaqiyatni oldindan belgilash. Har guruh strategiyasiga mos asosiy baholash mezonini tanlaydi va uni yiliga bir marta qayta koʻradi.
• Natijaga ishonchni tekshirish. Bir narsani oʻziga qarshi sinash, guruhlar nisbatini kuzatish va gʻaroyib natijani takrorlash shu odatga kiradi.
• Natijani saqlash. Kitobning ikkinchi qismida institutsional xotira va meta-tahlilga alohida bob bagʻishlangan, bobning matni ochilmadi.

Uchinchi odat eng kam sezilsa ham, eng muhimi, chunki hamma narsa tajriba natijasiga ishonishga tayanadi. Mualliflarning fikricha, raqam olish oson, lekin ishonchli raqam olish qiyin. Microsoft oddiy tekshiruvdan boshlaydi: bir xil narsani oʻziga qarshi sinaydi, tizim esa taxminan 95 foiz holatda farq yoʻq deb aniqlashi kerak. Shu usul yuzlab notoʻgʻri tajribani fosh qilgan.

Yana bir qoida Twyman qonuni deb ataladi: qiziqarli yoki gʻayrioddiy koʻringan raqam odatda xato boʻladi. 2013 yilda Bing qidiruv sahifasidagi matn ranglarini sal oʻzgartirdi. Farq koʻzga deyarli koʻrinmasdi, natija esa kutilmagan darajada yaxshi chiqdi. Dizaynerlar va boshqa mutaxassislar shubha qilgani uchun test 32 million foydalanuvchida takrorlandi. Natija oʻxshash chiqdi va oʻzgarish yiliga 10 million dollardan ortiq daromad keltirishi hisoblandi.

Guruhlar nisbati ham tekshiriladi. 50 va 50 deb rejalashtirilgan tajribada 821 588 va 815 482 foydalanuvchi chiqdi. Bu farqning tasodif boʻlish ehtimoli 500 mingdan birdan kam, shuning uchun bunday nomuvofiqlik natijani koʻpincha yaroqsiz qiladi. Bu xato A/B testlardagi statistik xatolar haqidagi maqolada batafsil yoritilgan.

Kichik jamoa uchun yengil jarayon

Yirik kompaniyalar tajriba mutaxassislarini bir joyga yigʻadi, boʻlimlarga tarqatadi yoki ikkalasini aralashtiradi, kichik kompaniyalar esa odatda markazlashgan modeldan yoki tayyor vositadan boshlaydi. Besh kishilik jamoada tajribalar boʻlimi yoʻq, shuning uchun jarayon bitta varaqqa sigʻishi kerak. Quyidagi ketma-ketlik manbalardan chiqarilgan tahririyat mulohazasi.

1. Qaror savolini yozing: bu testdan keyin nimani hal qilamiz? Natija qarorni oʻzgartirmasa, test kerak emas.
2. Bitta oʻzgarish va bitta asosiy koʻrsatkichni tanlang. Ikkita narsani birga oʻzgartirsangiz, natija kimga tegishliligini bilmaysiz.
3. Aniqlamoqchi boʻlgan eng kichik farqni belgilab, kerakli hajmni hisoblang.
4. Qarorni oldindan yozing: qaysi natijada oʻzgarishni joriy qilamiz, qaysida toʻxtatamiz.
5. Testni ishga tushiring va oʻrtasida oʻzgartirmang.
6. Natijani, sababini va qarorni tajriba jurnaliga yozing.

Reklamada bu jarayonni platformaning oʻzi qoʻllab-quvvatlaydi. Google Ads maxsus tajribasi asl kampaniyaning trafigi va byudjetini sinov varianti bilan boʻlishadi. Qidiruvda foydalanuvchini cookie yoki qidiruv boʻyicha boʻlish mumkin, Display kampaniyalarida esa doim cookie ishlatiladi, shunda odam faqat bitta variantni koʻradi. Sinov paytida asl kampaniyani yoki tajribani oʻzgartirish natijani sharhlashni qiyinlashtiradi.

Muddat va ishonch darajasi haqida ham yoʻriqnoma bor. Google tajribani ikki-uch hafta yuritishni tavsiya qiladi. Ishonch darajasi standart boʻyicha 80 foiz, uni 95 foizga oʻzgartirish mumkin. Daraja oshgani sari tasodifiy gʻalaba ehtimoli kamayadi, ammo aniq natija uchun koʻproq maʼlumot kerak boʻladi. Natija ahamiyatli chiqmasa, sahifa toʻrtta sababni sanaydi: tajriba yetarlicha uzoq yurmagan, kampaniya trafigi kam, trafikni boʻlish ulushi kichik yoki oʻzgarish haqiqatan farq bermagan.

Hajm hisobi: trafik yetadimi

Test boshlashdan oldin eng oddiy savolga javob kerak: bu farqni koʻrish uchun yetarli odam bormi? Quyidagi jadval gipotetik hisob, unda saytning konversiyasi 3 foiz, ishonch darajasi 95 foiz, quvvat 80 foiz deb olingan.

Jadvaldan ikki xulosa chiqadi. Birinchisi, kichik farqni koʻrish uchun juda koʻp odam kerak: nisbiy oʻsish 20 foizdan 10 foizga tushsa, hajm toʻrt baravarga yaqin oshadi. Ikkinchisi, kuniga 300 tashrifli saytda 10 foizlik farqni aniqlash deyarli bir yilni oladi, bu esa mavsum, aksiya va raqobatchi oʻzgarishlari bilan aralashib ketadigan muddat. Shu sababli kichik jamoa test navbatini katta farq kutilgan oʻzgarishlarga beradi: yangi taklif, yangi sahifa tuzilishi, yangi auditoriya. Rang yoki tugma shaklini sinash ularning vaqtini yeb qoʻyadi.

HBR mualliflari ulkan trafik shart emasligini ham yozadi: kuniga kamida bir necha ming faol foydalanuvchisi bor har qanday kompaniya bunday test oʻtkaza oladi. Reklamada koʻpincha tashrif oʻrniga bosishlar hisoblanadi, ammo mantiq oʻsha.

Qachon test oʻtkazmaslik kerak

Har savolga tajriba kerak emas. Hubbard oʻz kitobida mijoz qoniqishi yoki tashkilot moslashuvchanligi kabi oʻlchab boʻlmaydigandek tuyulgan narsalarni ham oʻlchash mumkinligini taʼkidlaydi. Uning taʼrifini sharhlovchi shunday keltiradi: oʻlchash bir yoki bir necha kuzatuvga asoslangan, ishonchsizlikning sonda ifodalangan kamayishi. Demak, oʻlchash ishonchsizlikni nolga tushirmaydi, uni kamaytiradi.

Buni «besh qoidasi» yaxshi koʻrsatadi: tasodifiy tanlangan beshta kuzatuvda mediananing eng kichik va eng katta qiymat orasida boʻlish ehtimoli 93,75 foiz. Hisob oddiy: har kuzatuv medianadan yuqori boʻlishi ehtimoli yarim, shuning uchun beshovi ham bir tomonda qolishi ehtimoli 0,5 ning beshinchi darajasi. Ikki tomon uchun bu 6,25 foiz, qolgan 93,75 foiz esa oraliqqa tushadi. Gipotetik holat: beshta mijozdan qarorga qancha kun ketganini soʻradingiz va 3, 4, 6, 9, 12 kun javob oldingiz. Median, yaʼni barcha mijozlarni tartiblaganda oʻrtadagi qiymat, 3 bilan 12 kun orasida ekaniga taxminan 94 foiz ishonish mumkin. Bu katta test emas, lekin kampaniya muddatini rejalash uchun yetarli boʻlishi mumkin.

Eric Ries startaplar uchun yana bir sinov taklif qiladi. Kutilmagan natija mijozlar haqidagi bilimingizga jiddiy shubha tugʻdirmasa, kattaroq test oʻylab topish kerak. Tahririyat bu qoidani shunday oʻqiydi: natijasi ikki variantda ham oʻsha qaror bilan tugaydigan testga vaqt sarflamang.

Haftalik ritm va tajriba jurnali

Madaniyat odatda ritmda koʻrinadi: kichik jamoada tajribalar uchun bitta masʼul odam yetadi, u navbatni yuritadi, hajm hisobini tekshiradi va jurnalni toʻldiradi. Haftada oʻttiz daqiqalik yigʻilishda ketayotgan va toʻxtatiladigan testlar koʻrib chiqiladi, oyiga bir marta esa jurnaldan oʻrganilganlar ajratiladi. Bu tahririyat taklifi, manbada aynan shu shaklda yozilmagan.

Jurnal ustunlari oddiy boʻlishi mumkin: sana, qaror savoli, gipoteza, asosiy koʻrsatkich, kerakli hajm, natija, qaror va oʻrganilgan saboq. Eng muhimi, muvaffaqiyatsiz tajribalar ham yoziladi. HBR koʻpchilik gʻoya ishlamasligini ochiq aytgani sababli, jurnalning yarmi «ish bermadi» yozuvlaridan iborat boʻlsa, bu jamoa toʻgʻri ishlayotganini bildirishi mumkin.

Amalda nima qilish mumkin

Quyidagi punktlar manbalardan chiqarilgan tahririyat mulohazasi, tayyor retsept emas.

• Eng yaqin uchta fikringizni yozib, har biri uchun qaror savolini va kerakli hajmni hisoblang.
• Tajriba jurnalini bugunoq boshlang: sana, gipoteza, koʻrsatkich, natija va qaror yetarli.
• Trafik yetmasa, testni kutilgan farqi katta oʻzgarishlarga saqlang yoki mijoz suhbati kabi arzonroq dalilni tanlang.
• Gʻayrioddiy yaxshi natijani darhol yoymang, avval takrorlang va guruhlar nisbatini tekshiring.
• Reklama tajribasini 2–3 hafta davomida oʻzgartirmay yuriting.

Birinchi oyda atigi uchta test va toʻldirilgan jurnal ham jamoaga oʻz ritmini koʻrsatadi. Keyingi savol esa har bir yangi gʻoyada bir xil: uni qanday natija bekor qiladi?