W skrócie
Cytuj to hasło
Zaznacz przypis i skopiuj: Istotność statystyczna. W: Słownik pojęć e-commerce, Pro1.pl. https://pro1.pl/slownik/istotnosc-statystyczna (sprawdzono 13 września 2026).
Istotność statystyczna to miara, na ile różnica między wariantami testu przekracza wahanie losowe; nie mówi o wielkości efektu ani o zysku.
Na tej stronie (5)
Narzędzia raportują ją jako wartość p albo poziom ufności, umownie 95%, oraz jako przedział ufności dla różnicy. Odpowiada na pytanie, czy zaobserwowana przewaga jednej wersji nad drugą jest większa niż to, co mógłby dać sam przypadek; rozstrzyga więc o wiarygodności wyniku, a nie o jego skali ani o tym, ile firma na nim zarobi.
Jak się tego używa
W testach A/B na stronie, w eksperymentach w panelach reklamowych i w testach przyrostu. Zanim test ruszy, ustala się metrykę główną, minimalny wykrywalny efekt, moc testu oraz wynikającą z nich wielkość próby i czas trwania, zawsze w pełnych tygodniach, żeby objąć cały cykl tygodniowy.
Dlaczego warto to znać
Sklep o umiarkowanym ruchu nie wykryje w rozsądnym czasie różnic rzędu kilku procent, więc znaczna część „wygranych testów" to szum, po którym wdraża się zmiany bez efektu. Wynik testu bez zaplanowanej próby jest nierozstrzygnięty niezależnie od tego, co pokazuje pasek postępu w narzędziu.
Na co uważać
Peeking, czyli zaglądanie do wyniku i zatrzymywanie testu w chwili, gdy różnica wygląda na istotną, wielokrotnie zwiększa liczbę fałszywych zwycięzców; metody sekwencyjne wymagają narzędzia, które je obsługuje. Testowanie wielu wariantów i wielu metryk naraz podnosi ryzyko przypadkowego trafienia. Istotność na mikrokonwersji nie przenosi się na zakup i przychód.
Przykład
Liczby umowne: wariant A ma 100 zamówień z 5 000 sesji, wariant B 120 z 5 000, czyli 2,0% wobec 2,4%. Różnica wygląda na 20% względnie, ale przy tej liczbie obserwacji mieści się w wahaniu losowym i nie jest istotna na poziomie 95%. Wykrycie przyrostu tej wielkości przy zwyczajowej mocy testu wymagałoby około dwudziestu tysięcy sesji na wariant. Test zatrzymany w trzecim dniu „na plusie" kończy się wdrożeniem zmiany, która niczego nie zmienia.
Co z tym zrobić w sklepie
Przed uruchomieniem testu warto w kalkulatorze mocy testu wpisać obecny współczynnik konwersji, liczbę sesji tygodniowo i najmniejszą różnicę, jaka ma znaczenie biznesowe; wynik powie, ile tygodni potrwa test i czy w ogóle ma sens przy tym ruchu. Zaglądanie do wyników co dzień i kończenie testu, gdy „już jest istotny”, to najczęstszy sposób na fałszywego zwycięzcę. Kolejność działań porządkuje pytanie o poprawę konwersji; więcej w temacie konwersja i UX.
Zobacz też
A/B test
A/B test to eksperyment, w którym ruch dzieli się losowo między dwie wersje strony lub elementu i porównuje ich wynik, np.
MDE
MDE (minimalny wykrywalny efekt) to najmniejsza różnica między wariantami, jaką test o danej próbie odróżni od przypadku; ustala się go przed startem.
Eksperymenty
Eksperymenty w Google Ads i Meta Ads to wbudowane narzędzia do porównania dwóch ustawień kampanii na losowo podzielonym ruchu lub budżecie.
Efekt nowości
Efekt nowości to chwilowa zmiana zachowania użytkowników wywołana samą nowością elementu, a nie jego wartością, zniekształcająca wyniki testów A/B.
MAB
MAB (multi-armed bandit, test adaptacyjny) to metoda testowania, w której algorytm w trakcie testu kieruje coraz więcej ruchu do lepszego wariantu.