Inkrementallik: reklama haqiqatan qoʻshimcha sotuv berdimi

Gordon, Zettelmeyer va hamkasblarining 2016 yilgi ishchi qogʻozi gipotetik marketing rahbari Jim Brown hikoyasidan boshlanadi. Jamoa yangi zargarlik liniyasi boʻyicha hisobot olib keladi. Reklama koʻrmaganlar orasida xarid ulushi 0,02%, reklamani koʻrib bosmaganlar orasida 0,9%, bosganlar orasida 2,8%. Raqamlarga qarab “reklama ishlayapti, bosish xaridni oshiradi” deyish mumkin edi.

Rahbar mijozlar bazasiga qaraydi va ish boshqacha tus oladi. Reklamani koʻrmaganlarning deyarli hammasi erkak, koʻrganlarning koʻpchiligi ayol. Erkaklar bu liniyani baribir olmasdi. Bosganlar orasida sodiqlik klubi aʼzolari 14,1%, bosmaganlar orasida 2,3%. Demak, hisobot reklamaning taʼsirini emas, reklamani kimlar koʻrganini koʻrsatgan.

Hisobot reklamadan keyingi xaridni sanaydi, reklama sabab boʻlganini emas

Atribusiya hisoboti reklamadan keyin sodir boʻlgan xaridni reklamaga yozadi. Reklama koʻrsatilmaganida nima boʻlishini u koʻrmaydi. Bu ikkinchi dunyoni oddiy solishtirish bilan tiklab boʻlmaydi: reklama odamlarga tasodifiy tarqalmaydi, platforma xarid qilish ehtimoli yuqori odamlarni ataylab tanlaydi.

Ishchi qogʻozdagi raqam buni yaxshi koʻrsatadi. Tajribaning test guruhida reklamani koʻrganlarda xarid ulushi 0,104%, koʻrmaganlarda 0,020% chiqdi, yaʼni oʻsish 416%. Tasodifiy tajribaning haqiqiy natijasi esa 77% edi. Oddiy solishtirish effektni besh martadan koʻproq oshirib yuborgan.

Mualliflar bu nomuvofiqlikning uch sababini koʻrsatadi. Birinchisi — auksion: reklamachi xarid ehtimoli yuqori odamlarga koʻproq taklif beradi. Ikkinchisi — platforma algoritmi: kampaniya xaridga optimallashtirilsa, yetkazib berish asta-sekin eng ehtimolli guruhga siljiydi. Uchinchisi — faollik: reklamani koʻrish uchun odam kampaniya davomida platformada boʻlishi kerak, onlayn faol odam esa onlayn xarid qilishga ham yaqinroq.

Nazorat guruhi nimani oʻzgartiradi

Tasodifiy tajribada auditoriya ikkiga boʻlinadi. Test guruhi reklama koʻrishi mumkin, nazorat guruhi kampaniya reklamasini koʻrmaydi. Facebookdagi tajribalarda nazorat guruhidagi odamga kampaniya boʻlmaganida ham chiqadigan boshqa reklama koʻrsatilgan: auksionda ikkinchi oʻrinni olgan reklama. Shu tarzda nazorat guruhi haqiqiy bazani koʻrsatadi.

Tajriba toʻgʻri boʻlishi uchun nazorat guruhiga reklama tasodifan tushmasligi shart. Facebookda foydalanuvchi har safar hisobga kirgani uchun bu shart bajariladi. Cookie asosidagi oʻlchashda esa bir odam bir nechta brauzer va qurilmada boshqa-boshqa odam boʻlib koʻrinishi, guruhlar aralashib ketishi mumkin. Yaʼni tajriba qayerda oʻtkazilishi natija ishonchiga taʼsir qiladi.

Hisob-kitob oddiy, ammo bitta tuzoq bor. Nazorat guruhida xaridorlar 0,8%, test guruhida 1,2% deylik. Farq 0,4 punkt, lekin test guruhining hammasi ham reklama koʻrmagan. Agar yarmi koʻrgan boʻlsa, 0,4 punkt shu yarmining hisobiga keladi va reklama koʻrgan odamdagi qoʻshimcha xarid ulushi 0,8% boʻladi. Bu ishchi qogʻozdagi misol; reklamani koʻrmaganlarga taʼsir nolga teng deb olinadi.

Google Ads ham shu mantiqdan foydalanadi. Conversion Lift ikki guruhni solishtiradi: reklamani koʻradigan va koʻrmaydigan. Lift deb reklama mavjudligi sabab boʻlgan qoʻshimcha konversiyalar aytiladi. Tadqiqot foydalanuvchilar yoki hududlar boʻyicha qurilishi mumkin; hududiy variant oflayn maʼlumotni ham qoʻllab-quvvatlaydi. Imkoniyat barcha hisoblarda ochiq emas: foydalanish uchun Google vakiliga murojaat qilish kerak.

Kuzatuv usullari tajriba natijasini qanchalik tiklay oladi

Gordon va hamkasblari 2019 yilda Marketing Science jurnalida shu savolni katta hajmda tekshirdi. Ular Facebookdagi 15 ta AQSh reklama tajribasini (500 million foydalanuvchi-tajriba kuzatuvi, 1,6 milliard koʻrsatuv) olib, natijani turli kuzatuv modellari bilan solishtirdi. Xulosa: kuzatuv usullari tasodifiy tajriba bergan taʼsirni koʻpincha tiklay olmaydi, demografik va xulq-atvor oʻzgaruvchilari bilan boyitilganda ham.

Ishchi qogʻozda tafsilot bor. Xarid kabi quyi voronka natijalarida usullar ishonchsizroq, yuqori voronka natijalarida (masalan, muhim sahifaga kirish) birmuncha yaxshiroq. Kuzatuv usuli baʼzan tajribaga yaqin natija beradi, lekin qachon yaqin chiqishini oldindan aytish qiyin. Toʻrtinchi tajribada moslashtirish va regressiya usullari taʼsirni oshirib koʻrsatdi; boy oʻzgaruvchilar bilan ham nuqtaviy baho taxminan 50% ga yuqori chiqdi.

Keyingi ish bu gapni kuchaytirdi. Gordon, Moakler va Zettelmeyer 663 ta yirik Facebook tajribasi va 5 000 dan ortiq foydalanuvchi belgisi bilan ikkita zamonaviy kuzatuv usulini sinadi. Usullardan biri yaxshiroq ishladi, lekin hech biri tajriba natijasini ishonchli tiklay olmadi. Median lift yuqori, oʻrta va quyi voronka natijalarida mos ravishda 29%, 18% va 5% boʻlgan, kuzatuv baholarining nisbiy xatosi esa katta chiqdi. Bu maqola preprint holatida.

Ishchi qogʻozning yakuniy raqamlari ham qattiq. Eng yaxshi kuzatuv usulining oʻrtacha mutlaq chetlashishi 173% boʻldi, tasodifiy tajribalarning oʻrtacha lifti esa 57% edi; usullarning aksariyati natijani yuqoriga siljitdi. Mualliflar menejerlarga “kuzatuv bahosi odatda shuncha yuqori” degan sodda qoida tuzmaslikni maslahat beradi, chunki xatoning kattaligi tajribadan tajribaga keskin oʻzgargan.

Oldin va keyin solishtirish hamda “neytral reklama” nazorati

Kampaniyadan oldingi va keyingi davrni solishtirish eng keng tarqalgan usul. U bitta taxminga tayanadi: reklama boʻlmasa, natija bu ikki davrda bir xil boʻlardi. Gordon va hamkasblari buni tekshirdi: reklama umuman koʻrmagan nazorat guruhida xarid darajasi tadqiqotning birinchi va ikkinchi yarmi orasida har bir natija turida bittasidan boshqa barcha tajribalarda statistik jihatdan farq qildi. Demak, “oldin va keyin” farqining bir qismi reklamadan emas, oddiy vaqt oʻzgarishidan keladi.

Nazoratga “neytral” jamoat reklamasi (PSA) koʻrsatish ham tuzoqdan xoli emas. Platforma algoritmi har ikki reklamani turli odamlarga optimallashtirib yetkazadi, shuning uchun guruhlar baravar boʻlmay qoladi. Ishchi qogʻozdagi bir juftlikda tasodifiy tajriba 1,8% ijobiy lift topdi, PSA usuli esa minus 4,2% chiqardi; reklamachi bunga qarab kampaniya zarar keltirgan deb xulosa qilgan boʻlardi.

Tajribaning oʻzi ham qimmat: yetarli hajm masalasi

Tajribani hamma ham qila olmaydi. Lewis va Rao AQShning yirik chakana va brokerlik kompaniyalarida oʻtkazilgan 25 ta maydon tajribasini tahlil qildi. ROI uchun median ishonch oraligʻi 100 foiz punktdan kengroq chiqdi. Sababi: bir kishining sotuvi juda beqaror, variatsiya koeffitsiyenti 10 boʻlishi odatiy hol. Maʼnoli tajriba 10 million “odam-hafta”dan koʻproqni talab qilishi mumkin.

Shu sababni oʻzingiz hisoblab koʻrishingiz mumkin. Bu gipotetik hisob: xarid ulushi 1% va uni 10% nisbiy oʻsishga (1,0% dan 1,1% gacha) ajrata oladigan tajriba kerak. Ikki ulushni solishtirishning oddiy qoidasi bilan (80% quvvat, 5% daraja) har guruhga taxminan 158 000 odam toʻgʻri keladi. Agar kampaniya har guruhga atigi 10 000 kishiga yetsa, tajriba taxminan 40% dan katta oshishnigina ajrata oladi. Kichik oʻzgarishni u koʻrmaydi.

Johnson, Lewis va Nubbemeyer shu xarajatni kamaytirish yoʻlini taklif qildi: “ghost ads”. Gʻoya nazorat guruhidagi odamlar ichidan reklamani koʻrishi mumkin boʻlganlarni aniqlab, ularni test guruhidagi koʻrganlar bilan solishtirishdir. Mualliflarning aytishicha, bu usul oddiy usullar bilan bir xil aniqlikni kamida bir tartib kam xarajat bilan beradi. Ular onlayn doʻkonning retargeting kampaniyasida reklama sayt tashriflarini 17,2%, xaridlarni 10,5% oshirganini koʻrsatdi.

Natijani qanday oʻqish kerak, deb Google hisobotidagi koʻrsatkichlar oʻzi aytib turadi: qoʻshimcha konversiyalar (mutlaq lift), nisbiy lift, qoʻshimcha konversiya qiymati hamda qoʻshimcha ROAS va CPA. Farq gipotetik hisobda yaxshi koʻrinadi. Hisobotda 500 ta konversiya, har biri 100 shartli birlik, reklama xarajati 20 000 birlik: platforma ROAS 2,5 koʻrsatadi. Lift test esa nazorat guruhiga nisbatan atigi 180 ta qoʻshimcha konversiya topdi, deylik. Qoʻshimcha ROAS 180 × 100 / 20 000 = 0,9 boʻladi. Bir xil kampaniya, ikki xil qaror.

Platformaning lift testi hammasini hal qilmaydi

Lift testning ichki toʻgʻriligi tekshirilgan. Burtch va hamkasblarining 2025 yilgi preprinti Metaʼning 3 204 ta lift testi va 181 890 ta A/B testini tahlil qildi. Lift testlarida auditoriya guruhlari muvozanatda chiqdi. A/B testlarda esa yetkazib berish algoritmi turli variantlarni turli odamlarga koʻrsatgani aniq koʻrindi; mualliflar bu hodisani divergent delivery deb ataydi.

Amaliy maʼnosi shu: lift test “reklama bormi yoki yoʻqmi” savoliga toza javob beradi. “A reklama B dan yaxshimi” savoliga platformaning ichki A/B testi har doim toza javob bermaydi, chunki guruhlar tarkibi ham farq qilishi mumkin.

Bundan nima kelib chiqadi

Quyidagilar manbalardan chiqarilgan tahririyat xulosasi; hech bir manbada aynan shu shaklda yozilmagan. Birinchidan, platformadagi “konversiya” reklamadan keyingi konversiya, reklama natijasi emas; hisobotda uni shunday nomlash foydali. Ikkinchidan, xaridga eng yaqin auditoriyani nishonlaydigan kampaniyalarda (retargeting, brend qidiruvi) hisobot va haqiqiy lift orasidagi farq katta boʻlishi kutiladi: bunday auditoriya baribir xarid qilishga yaqin odamlardan tanlangani uchun tanlanish effekti kuchli.

Uchinchidan, tajribadan oldin ikki savolga javob yozib qoʻying: qanday oshishni koʻrmoqchimiz va buning uchun har guruhga necha odam kerak. Agar hisob auditoriya yetmasligini koʻrsatsa, tajriba oʻtkazmagan yaxshi: u pul va vaqt sarflab, baribir “aniq emas” javobini beradi. Platforma lift testi mavjud boʻlmasa yoki hajm yetmasa, hududiy usul qoladi; u haqida keyingi maqolada yoziladi.

Kampaniyani “oldin va keyin” bilan baholayotgan boʻlsangiz, hech boʻlmaganda taqqoslash uchun bir qism hududni yoki auditoriyani reklamadan tashqarida qoldirishni oldindan rejalashtiring. Shunda vaqt oʻzgarishi (mavsum, aksiya, raqobatchi) ikkala tomonga baravar taʼsir qiladi va farq reklamaga tegishli boʻlib qoladi.

Bitta tajriba bitta kampaniya va bitta davr uchun javob beradi. Mavsum, mahsulot yoki reklama formati oʻzgarsa, javob ham oʻzgarishi mumkin. Qancha tajriba yetarli ekanini manbalar aytmaydi.