A/B test má jediný smysl: spolehlivě změřit, která varianta vede k lepšímu výsledku. Jenže když měření ztrácí konverze — a navíc nerovnoměrně mezi variantami — test ukáže špatného vítěze. Tady je, jak tomu předejít.
Proč na měření u testů záleží dvojnásob
- Vítěz se určuje z konverzí. Pokud část konverzí chybí, srovnání variant je zkreslené.
- Nerovnoměrné ztráty jsou nejhorší. Když jedna varianta ztrácí víc konverzí (např. kvůli rozdílnému chování na iOS), test může prohlásit za vítěze tu horší.
- Malé rozdíly, velké rozhodnutí. Testy často hledají rozdíly v jednotkách procent — šum v datech je snadno přebije.
Jak server-side pomáhá
- Úplnější konverze. Server-side zachytí konverze i přes ad-blockery a ITP, takže obě varianty měří na stejně úplných datech. Viz ITP a ztracené konverze.
- Konzistentní identifikace. Zákazník zůstane ve své variantě i napříč návštěvami, takže se výsledek nerozmazává.
- Čistý základ. Spolehlivé měření je předpoklad i pro pokročilejší incrementality testy.
Na co dát pozor
- Ujistěte se, že se varianta správně propíše do měření (víte, kdo viděl kterou).
- Měřte stejnou konverzi pro obě varianty, stejným způsobem.
- Nezakončujte test předčasně — potřebujete dost dat na statistickou významnost.
Shrnutí
A/B test je jen tak dobrý jako data, kterými měříte výsledek. Nerovnoměrné ztráty konverzí umí prohlásit za vítěze horší variantu — server-side tracking dává experimentům úplný a konzistentní základ, na kterém se dá rozhodovat. Více v kompletním průvodci.