ILINČEV 
V jednom z předchozích článcích jsem se zabýval tím, kolik vám A/B testování vydělá. Teď bych se na to rád podíval z druhé stránky, jelikož většina vašich byznys nápadů je příšerných (mých taky). Hlavní přínos A/B testování vidím v poslední době v tom, že nespouštím blbosti.
Nejčastěji slýchávám následující důvody, proč netestovat:
- Je to moc pomalé.
- Je to technicky náročné.
- Nerozumím statistice.
- Zabíjím tím dobré nápady.
- Nedá se pořádně spočítat přínos.
Můžu vám postupně rozstřílet tyto výtky, ale lepší vám bude ukázat na simulovaném experimentu, jak vypadá situace na bojišti.
Testovat či netestovat
Porovnám firmu, co testuje od té, co netestuje. Vezmeme si 3 hypotetické firmy:
- Spouštěč s.r.o. – Prostě spouští změny, protože ví, co bude fungovat.
- Střelec s.r.o. – A/B testuje, a spouští změny, co vyjdou lépe.
- Šprt s.r.o. – A/B testuje do jistoty 95 % a spouští jen tutovky.
Předpokládám, že firma Spouštěč zvládne spustit 40 změn, ostatní dvě jen 20 – protože je zpomaluje testování. Všechny firmy mají stejně dobré nápady (průměr je 0,5 %), základní konverzní poměr je 5 % a máte 500 000 uživatelů na test (níže je varianta s 50 000 a 10 000 uživateli).
Výsledek průměrného zlepšení po 40, respektive 20 změnách.
Na první pohled to vypadá, že se nemůžete splést ani s jedním přístupem. Ale chyba lávky.
Pokud nebudete testovat, tak efekt na byznys bude 6× menší a máte více než 50% šanci, že po všech změnách budete v minusu. Pokud naopak budete testovat, tak vám stačí polovina dobrých nápadů, abyste byli výrazně v plusu.
A/B testování s malou návštěvností
Logicky mi můžete namítnout: Ondro, to je sice hezké, ale nejsme Alza. Nemáme na to návštěvnost a fixní náklady na testování nás budou bolet. Souhlasím, přesto vás budu chtít přesvědčit, že to dává smysl.
Vezmeme si trochu realističtější návštěvnost 50 000 uživatelů na test:
Délka testu se vám protáhne z pár týdnů na pár měsíců. A průměrné zlepšení se vám sníží na 57 % (Střelec), respektive 48 % (Šprt). Ale stačí snížit jistotu z 95 na 80 %, a jste v zásadě na stejných číslech, jako v příkladu nahoře. Jen to bude trvat déle.
Může se zdát, že dává větší smysl přístup Střelec. Ale máte 3× větší falešnou pozitivitu. Já to beru spíš z opačného pohledu:
I ve chvíli, kdy za sebou nemáte bandu datových analytiků a tak trochu střílíte od boku, se vám vyplatí AB testovat.
Námitky, ctihodnosti
Je to moc pomalé
Udělat to rychle špatně umí každý. Průměrný test trvá 4 týdny. Nejde ani tak o to, jak dlouho trvá test, ale kolik testů můžete spustit. Po roce je realistické spouštět 1 test týdně. Takže si spíš jen počkáte na vyhodnocení déle, když máte menší návštěvnost.
Je to technicky náročné
Může a nemusí. Zprovoznění může být stejně snadné jako nastavení Google Analytics. Většinu běžných nástrojů propojíte automaticky. A pokud se v tom chcete hrabat a řešit API, BigQuery atp., tak ano. Ale budete to dělat jen na začátku. Pak už je to jen o konfiguraci testů.
Nerozumím statistice
Já taky ne. Přečetl jsem o tom hodně knížek, ale nemám Matfyz a vždycky budu lama. Nicméně nástroje se dramaticky zlepšují (sekvenční statistika, hlídání SRM chyb) a většinou vám stačí AB testovací kalkulačka, kde zadáte data z analytiky. A trochu selského rozumu.
Zabíjím tím dobré nápady
Ne. Testováním zabíjíte špatné nápady. Omezujete tím riziko a pouštíte ven jen věci, které vám byznys minimálně nezhorší.
Nedá se pořádně spočítat přínos
Pokud jen sečtete pozitivní výsledky AB testů dohromady, tak si lžete do kapsy. Musíte počítat s tím, že ten efekt časem slábne a hodně závisí na citlivosti testu. Při slabé citlivosti se výsledek testu zveličuje.
| Citlivost | Zveličení |
| 90 % | 5 % |
| 80 % (standard) | 13 % |
| 70 % | 19 % |
| 60 % | 30 % |
| 50 % | 39 % |
| 40 % | 57 % |
| 30 % | 78 % |
| 20 % | 120 % |
| 10 % | 270 % |
Nicméně spočítat se to dá.
Případně můžete vzít 10 % návštěvnosti, a ukazovat ji původní verzi. Říká se tomu Holdout experiment. Nicméně v ČR nevím o nikom, kdo by to dělal :).
Co si z toho vzít
Hlavní přínos AB testování je:
- Nespouštíte změny, které vám byznysově ublíží.
Mnohdy špatnou změnu nezjistíte, konverze se vám každý den mění o desítky procent, vliv mají konkurenti, události okolo i počasí. - Výsledky AB testů vás můžou nasměrovat na další zlepšení.
Vědět, jaký efekt měla provedená změna je důležité pro budoucí rozhodování, co (ne)dělat. - Dlouhodobě několikanásobně zlepšíte svůj byznys oproti spouštění všech změn.
Navíc vám stačí i podprůměrný tým, nemusíte mít hvězdy.
Pokud jsem vás navnadil, tak si můžete testovací nástroj vybrat podle svých preferencí. Nebo se mi ozvěte, rád pomůžu.
V dalších článcích vám efekt AB testování ukážu na velkém redesignu a malém faceliftu. Tak se těšte na případovky.
Zdroje:
https://blog.analytics-toolkit.com/2024/the-business-value-of-a-b-testing/
https://blog.analytics-toolkit.com/2020/the-cost-of-not-ab-testing-case-study/
https://www.library.hbs.edu/working-knowledge/is-ab-testing-effective-evidence-from-35000-startups
https://www.kameleoon.com/blog/can-you-really-tie-ab-testing-revenue
https://www.linkedin.com/in/ronnyk/
Smysluplná debata