Testy A/B w małym sklepie: ile wejść potrzebujesz, zanim uwierzysz w wynik

Test A/B w małym sklepie najczęściej kończy się wynikiem, który wygląda przekonująco, a niczego nie dowodzi. Po dwóch tygodniach wersja B ma kilka zamówień więcej, ktoś ogłasza zwycięzcę i zmiana wchodzi na stałe. Tymczasem przy kilkuset osobach w teście taka różnica bardzo często jest przypadkiem. Ten tekst odpowiada na jedno pytanie: ilu użytkowników potrzebujesz, zanim uwierzysz w wynik testu, i co z tego wynika dla sklepu z małym ruchem.

Liczę użytkowników, czyli osoby, które trafiły do testu, a nie odsłony stron. W tytule piszę „wejścia”, bo tak o tym mówią właściciele sklepów, ale w rachunku każda osoba liczy się raz.

Dlaczego test na kilkuset wejściach nic nie mówi

Test A/B porównuje dwa odsetki: ile osób kupiło w wersji A, a ile w wersji B. Przy konwersji 2% na każde 100 osób przypadają średnio dwa zakupy. Jeśli do każdej wersji trafi 500 osób (liczby umowne), różnica między 10 a 13 zakupami może wynikać wyłącznie z tego, kto akurat wszedł do sklepu w danym tygodniu.

Dlatego wynik testu ocenia się przez istotność statystyczną. Mówi ona, jak mało prawdopodobne byłoby uzyskanie takiej różnicy, gdyby obie wersje działały tak samo. Drugą stroną jest moc testu, czyli szansa, że test wykryje różnicę, która naprawdę istnieje. Mała próba ma małą moc: prawdziwa poprawa często przechodzi niezauważona, a różnica, którą widzisz, często jest przypadkiem.

Cztery liczby, od których zależy wielkość próby

Zanim uruchomisz test, potrzebujesz czterech liczb.

1. Obecna konwersja. Odsetek użytkowników, którzy kupują, liczony z ostatnich tygodni na tej części sklepu, którą testujesz.
2. Najmniejsza zmiana, którą chcesz wykryć (MDE, minimalny wykrywalny efekt). Podaję ją jako zmianę względną: wzrost konwersji z 2% do 2,4% to zmiana o 20%.
3. Istotność. Najczęściej 5% w teście dwustronnym, czyli takim, który wykrywa zarówno poprawę, jak i pogorszenie.
4. Moc. Najczęściej 80%: test ma cztery szanse na pięć, żeby wykryć zmianę, jeśli ona naprawdę istnieje.

Najtrudniejsza jest druga liczba. Nie wybieraj jej według tego, jaki wzrost byłby miły, tylko według tego, jaki wzrost opłaca wdrożenie. Jeśli nowa karta produktu kosztuje kilka dni pracy programisty i grafika, policz, o ile musi wzrosnąć liczba zamówień, żeby marża z dodatkowej sprzedaży pokryła ten koszt w czasie, który akceptujesz. Ta zmiana jest Twoim MDE. Mniejsza poprawa może istnieć, ale nawet wykryta nie zmieni Twojej decyzji, więc nie ma sensu płacić za nią długością testu.

Z tych liczb wynika, ilu użytkowników potrzebuje każda wersja. Wzór dla porównania dwóch grup podaje między innymi wprowadzenie do obliczania wielkości próby Rosie Cornish (statstutor.ac.uk, 2006). Słownie wygląda tak: dodajesz iloczyn konwersji i jej dopełnienia do 1 dla obu wersji, dzielisz przez kwadrat różnicy konwersji i mnożysz przez stałą, która dla istotności 5% i mocy 80% wynosi około 7,85, czyli (1,96 + 0,8416)². Policzysz to w arkuszu w jednej komórce.

Jeden przykład do końca: konwersja 2%, zmiana o 20%

Weźmy sklep z konwersją 2%, który chce sprawdzić, czy nowa karta produktu podnosi konwersję o 20%, czyli do 2,4%. Istotność to 5% dwustronnie, moc 80%. Wtedy:

• w nawiasie: 0,02 × 0,98 + 0,024 × 0,976, czyli około 0,043;
• różnica konwersji: 0,004, a jej kwadrat 0,000016;
• 0,043 ÷ 0,000016 × 7,85 to około 21 tys. użytkowników na wariant.

Razem test potrzebuje więc około 42 tys. użytkowników. To jest najważniejsza liczba w tym tekście. Jeśli do Twojego sklepu trafia 15 tys. użytkowników miesięcznie, a do testu kierujesz cały ruch, test potrwa co najmniej około 2,8 miesiąca. Piszę „co najmniej”, bo ci sami ludzie wracają w kolejnych miesiącach, więc nowych użytkowników przybywa wolniej, niż pokazuje prosty rachunek. To rachunek ilustracyjny na podanych założeniach, a nie prognoza dla konkretnego sklepu.

Czas rośnie też wtedy, gdy do testu kierujesz tylko część ruchu: jeśli w teście jest połowa użytkowników sklepu, test trwa dwa razy dłużej. Ruch musi być przy tym podzielony między wersje losowo i po równo. Jeśli jedna wersja dostaje głównie ruch z reklam, a druga z newslettera, porównujesz kanały, a nie karty produktu.

Wniosek dla decyzji jest prosty. Nowa karta produktu w takim sklepie da wiarygodny wynik dopiero po kwartale. Jeśli w tym czasie zmienisz ceny, uruchomisz promocję albo wejdzie sezon, wynik przestanie mówić tylko o karcie produktu.

Co da się sprawdzić przy 15 tys. użytkowników miesięcznie

Wielkość próby najbardziej zależy od tego, jak dużą zmianę chcesz wykryć. W tym samym sklepie, z konwersją 2% i tymi samymi założeniami:

• zmiana o 30% wymaga około 9,8 tys. użytkowników na wariant, czyli około 1,3 miesiąca ruchu;
• zmiana o 20% to opisane wyżej około 2,8 miesiąca;
• zmiana o 10% wymaga około 80,7 tys. użytkowników na wariant, czyli około 10,8 miesiąca ruchu.

Zmniejszenie wykrywanej zmiany o połowę wydłuża test mniej więcej czterokrotnie, bo różnica w mianowniku wzoru jest podniesiona do kwadratu. Dla małego sklepu oznacza to wybór. Testujesz zmiany, po których spodziewasz się dużego efektu: nowy układ karty produktu, inny sposób pokazania kosztu dostawy, krótszy proces zamówienia. Kolor przycisku czy jedno słowo w nagłówku dadzą zwykle efekt zbyt mały, żeby test go wykrył, zanim zmieni się wszystko inne.

Przykłady testów, które dotyczą całych elementów sklepu, opisuje wpis o 12 testach A/B karty produktu i koszyka.

Gdy ruchu jest za mało na test

Jeśli test potrzebuje więcej niż kwartału, lepiej sprawdzić zmianę inaczej, niż czekać na wynik, którego nie będzie. Masz kilka kierunków, każdy z własnymi ograniczeniami.

• Porównanie okresów z kontrolą. Wprowadzasz zmianę na stałe i porównujesz konwersję przed i po, ale obok patrzysz na część sklepu, której zmiana nie dotyczy. Tak oddzielasz efekt zmiany od sezonu i od kampanii. To słabszy dowód niż test, więc wynik traktuj jako wskazówkę, a nie rozstrzygnięcie.
• Testy użyteczności. Kilka osób wykonuje zadanie w sklepie, a Ty patrzysz, gdzie się zatrzymują. To nie mierzy konwersji, ale pokazuje bariery, których nie widać w liczbach.
• Test na większej części ścieżki. Zamiast jednej karty produktu zmieniasz cały szablon kart albo cały koszyk, bo większa zmiana daje większy efekt, a ten łatwiej wykryć.

Jeśli chcesz sprawdzić, ile zamówień daje reklama, a nie zmiana w sklepie, pomoże test przyrostowości. Pomysły na to, od czego zacząć poprawę konwersji, zbiera odpowiedź jak poprawić konwersję w sklepie. Koszty sprzedaży we własnym sklepie i na platformie porównuje wpis o zmianach na Allegro i koszcie sprzedawcy z własnym sklepem.

Co robić w najbliższym kwartale

1. Policz konwersję z ostatnich 28 dni na tej części sklepu, którą chcesz zmienić.
2. Zapisz, jaką najmniejszą zmianę uznasz za wartą wdrożenia, i wyraź ją jako zmianę względną.
3. Policz wzorem wyżej, ilu użytkowników potrzebuje każda wersja, i podziel sumę przez miesięczny ruch, który trafi do testu.
4. Jeśli test trwałby dłużej niż kwartał, wybierz większą zmianę albo inną metodę sprawdzenia.
5. Przed startem zapisz, kiedy test się kończy, i nie ogłaszaj wyniku wcześniej, nawet jeśli po tygodniu jedna wersja prowadzi.
6. Po zakończeniu sprawdź, czy w czasie testu nie było promocji ani zmian cen, które mogły wpłynąć na obie wersje inaczej.

Jeśli chcesz ustalić, które zmiany w Twoim sklepie da się sprawdzić na ruchu, który już masz, umów rozmowę.