Test przyrostowości w sklepie: wyłączyć reklamy na dwa tygodnie czy zrobić test geo

Na jednym ekranie Menedżer reklam Meta pokazuje ROAS 5. Na drugim GA4 dla tej samej kampanii pokazuje 2. Obie liczby są poprawne w ramach własnych reguł atrybucji i żadna nie odpowiada na pytanie, które właściciel sklepu zadaje sobie przy każdym przelewie do platformy: ile z tej sprzedaży by nie było, gdybym reklamę wyłączył. Marek Kich zatytułował sierpniowy odcinek Sztuki E-Commerce „Wyłącz jutro reklamy. Ile zarobisz w kolejnym miesiącu?" i postawił tezę, że biznes, którego przychód znika razem z budżetem, stoi na jednej zmiennej. Kilka dni później Google w Ads Decoded opisał „stos pomiarowy", w którym atrybucja, okresowe testy przyrostowości i modelowanie mixu mediów mają się uzupełniać, a nie zastępować. Sklep z 15 tys. użytkowników miesięcznie nie zbuduje MMM. Test przyrostowości zrobi, pod warunkiem że zaprojektuje go przed startem, a nie dorobi interpretację po.

Przyrostowość to inne pytanie niż atrybucja

Atrybucja rozdziela zasługi za zamówienia, które się wydarzyły, między kanały, których klient dotknął. Last click oddaje wszystko ostatniemu kliknięciu, model oparty na danych rozdaje ułamki. Żaden z nich nie sprawdza, czy zamówienie wydarzyłoby się bez reklamy, bo nie ma do tego danych: o pułapkach modeli pisaliśmy w siedmiu błędach interpretacyjnych GA4, a o tym, dlaczego sam ROAS nie mówi o zysku, w ROAS vs POAS. Przyrostowość, po angielsku incrementality, pyta o sprzedaż, której by nie było. Odpowiada na nie wyłącznie eksperyment: grupa, która reklamę widzi, i grupa, która jej nie widzi, porównane po zamówieniach i marży, a nie po kliknięciach i konwersjach z panelu. Gordon, Zettelmeyer, Bhargava i Chapsky porównali w Marketing Science 15 eksperymentów na Facebooku z metodami obserwacyjnymi i pokazali, że te drugie systematycznie zawyżają efekt reklamy. To nie jest zarzut wobec platform. To informacja, że ROAS z panelu jest górną granicą, a nie wynikiem.

Co pokazały eksperymenty, zanim zrobisz własny

Dwa badania warto znać, bo ustawiają oczekiwania. Blake, Nosko i Tadelis wyłączyli w eBayu reklamy w wyszukiwarce na frazy brandowe w części rynków. ROI tych reklam liczony z atrybucji wynosił 4100%. W eksperymencie: −63%. Klienci, którzy wpisywali „ebay", i tak trafiali do serwisu przez wynik organiczny. Simonov, Nosko i Rao sprawdzili to samo na tysiącach marek w Bingu i dodali drugą stronę medalu: gdy na Twoją markę nie licytuje nikt inny, reklama brandowa dodaje 1–4% kliknięć, ale gdy konkurenci licytują, a Ty nie bronisz frazy, przejmują 18–42% kliknięć. Wniosek dla sklepu: kampania brandowa jest najtańsza do przetestowania i najdroższa do wyłączenia w ciemno. Dlatego testujemy ją częściowo, nie w całości.

Trzy testy w zasięgu sklepu

Częściowy holdout brandu. W raporcie aukcji sprawdź, czy ktoś licytuje na Twoją nazwę. Frazy bez konkurencji wyłącz na dwa, trzy tygodnie i patrz na łączną liczbę zamówień oraz sesje organiczne i bezpośrednie w GA4, nie na konwersje kampanii. Frazy, na których stoi konkurent, zostaw: tu koszt wyłączenia znasz z badania wyżej.

Wyłączenie remarketingu. Kampania z najwyższym ROAS w panelu prawie zawsze celuje w ludzi, którzy już byli w koszyku. Wyłącz ją na dwa tygodnie dla jednego segmentu, na przykład porzuconych koszyków z ostatnich siedmiu dni, i sprawdź w GA4, jaki odsetek tych użytkowników wrócił innym kanałem. Jeśli wraca podobna część co wcześniej, kampania nie ratuje koszyków, tylko dopisuje się do zamówień, które i tak by były. To jest najczęstsze miejsce przepalania budżetu, jakie widzimy w kontach sklepów, z którymi współpracujemy.

Test geo. Dla kampanii pozyskujących, czyli Advantage+ w Mecie i Performance Max w Google'u, holdout na użytkownikach nie jest możliwy, bo platforma sama dobiera odbiorców. Zostaje podział geograficzny: w wybranych województwach reklama nie leci, w pozostałych leci jak dotąd.

Test geo krok po kroku

1. Jednostka. Województwo, bo tak targetują obie platformy. Polskie województwa są bardzo nierówne, więc nie porównuj Mazowieckiego z Opolskim. Wybierz dwa, trzy regiony testowe, których historia zamówień z ostatnich miesięcy zachowuje się podobnie do reszty kraju. Do doboru i późniejszej analizy Meta udostępnia bezpłatne, otwarte narzędzie GeoLift w R, oparte na metodzie syntetycznej kontroli i z kalkulatorami mocy testu. Wymaga dziennych zamówień per region z historią; Haus, firma sprzedająca takie testy, pisze o co najmniej dziewięciu miesiącach danych wstecz dla standardowego testu geo. Traktuj to jako głos vendora, ale im krótsza historia, tym większy szum.
2. Baza i czas. Sarah Stemen w Search Engine Land proponuje bazę 30–60 dni przed testem i cztery do sześciu tygodni samego testu; to rekomendacja z praktyki konsultantki, nie z badania, ale spójna z tym, co sami robimy. Dwa tygodnie to minimum przy kilkuset zamówieniach tygodniowo, nie przy kilkudziesięciu.
3. Co liczyć. Zamówienia i marżę z backendu sklepu po województwie z adresu dostawy, nie konwersje z platformy. Do tego sesje organiczne i bezpośrednie per region w GA4, żeby zobaczyć, czy popyt przeniósł się na inne kanały.
4. Próg decyzji. Jedno zdanie zapisane przed startem: „jeśli przyrostowy POAS w regionach testowych będzie niższy niż X, tniemy budżet kampanii o Y". Bez tego zdania każdy wynik da się obronić.
5. Nic więcej nie zmieniaj. Ani cen, ani darmowej dostawy, ani kreacji, ani ustawień kampanii w regionach kontrolnych.

Jak przeczytać wynik: przyrostowy POAS

Zamówienia przyrostowe to różnica między tym, co regiony testowe faktycznie zrobiły bez reklamy, a tym, co zrobiłyby według regionów kontrolnych. Pomnożone przez średnią marżę na zamówieniu dają marżę przyrostową. Podzielone przez wydatek, który w tych regionach normalnie ponosisz, dają przyrostowy POAS. Punkt odniesienia masz z arytmetyki: kampania wychodzi na zero, gdy ROAS równa się jeden podzielone przez marżę, czyli przy marży 30% potrzebujesz ROAS 3,33, przy 20% ROAS 5. Jeśli przyrostowy wynik jest poniżej tego progu, reklama dokłada przychód, ale nie zysk.

Dwa zastrzeżenia. Po pierwsze, różnica mniejsza niż zwykłe wahania tygodniowe między regionami to nie wynik, tylko szum; wtedy wydłużasz test albo bierzesz większe regiony, a nie ogłaszasz werdyktu. Po drugie, nie ma benchmarku „typowej" przyrostowości dla polskiego e-commerce i każdy, kto podaje Ci taki procent, sprzedaje narzędzie. Porównujesz się wyłącznie z własnym progiem.

Kiedy testu nie robić

W czwartym kwartale, bo sezon zniekształci bazę. W trakcie promocji albo tuż przed nią. Przy wolumenie poniżej kilkudziesięciu zamówień tygodniowo w regionach testowych, bo szum zje sygnał. Krócej niż dwa tygodnie. I w miesiącu, w którym platforma sama zmienia ustawienia Twoich kampanii albo Ty wdrażasz nową wersję sklepu, bo nie odróżnisz jednego efektu od drugiego.

Co zrobić w najbliższym tygodniu

1. Wyciągnij z backendu sklepu 90 dni zamówień w układzie dzień, województwo, liczba zamówień, przychód, marża.
2. Sprawdź w raporcie aukcji Google Ads, kto licytuje na Twoją markę, i podziel frazy brandowe na „z konkurencją" i „bez".
3. Wybierz pierwszy test: holdout brandu bez konkurencji, jeśli masz taką kampanię, albo remarketing, jeśli to on ma najwyższy ROAS w panelu.
4. Zapisz próg decyzji w jednym zdaniu i wyślij go komuś, kto przypomni Ci o nim po teście.
5. Dodaj adnotację z datą startu w GA4 i zamroź inne zmiany na czas testu.
6. Zaplanuj test geo dla kampanii pozyskujących na styczeń, po sezonie, i już teraz zacznij zbierać dzienne zamówienia per region.

ROAS z panelu mówi, co się sprzedało. Test przyrostowości mówi, co sprzedało się dzięki reklamie, i dopiero ta liczba zasługuje na miejsce w decyzji budżetowej. Jeśli chcesz, żebyśmy przejrzeli Twoje kampanie i powiedzieli, który test ma u Ciebie sens jako pierwszy, umów bezpłatną konsultację.