A/B testování

V 18. století kosily námořníky kurděje. Padlo jim za oběť víc námořníků než na válečná zranění. Kapitán Cook doporučoval slad a kysané zelí.

Další tutové recepty byly:

Překvapivě pomáhalo pojídání lodních krys, které si jsou schopné samy tvořit vitamín C. Cestovatel Sir Richard Hawkins doporučoval už v roce 1622 kyselé citróny a pomeranče a povzdechl si, že by bylo fajn, aby „o tom napsal někdo učený.“

Což se stalo, ale až o století později. Chopil se toho James Lind. Ten se v 1730 přihlásil k námořnictvu jako chirurg, a tak mohl pozorovat kurděje z první ruky.

V roce 1747 provedl na palubě HMS Salisbury jednu z prvních kontrolovaných klinických studií zaznamenaných v lékařské vědě.

Vzal 12 mužů, rozdělil je do 6 skupin po dvou a každé skupině dával něco jiného.

Za týden pomáhala šestá skupina léčit zbytek testovaných. V roce 1753 o tom napsal pojednání.

Ale až za 42 let – a rok po smrti doktora Linda – to začala admiralita doporučovat oficiálně námořníkům. Prý proto, že doporučení z pojednání nebylo jednoznačné a o citrusech se psalo na 4 stránkách ze 450.

Bylo to vlastně takové A/B/C/D/E/F/G testování. Jedna kontrolní skupina a pak 6 variant léčení.

A/B testování je metoda, kdy porovnáváte dvě (případně více) verze webové stránky nebo aplikace a zjišťujete, která lépe plní cíl nebo cíle. Je to v podstatě experiment, ve kterém uživatelům náhodně ukazujete jednu nebo druhou variantu a na základě statistiky zjišťujete, která lépe funguje.

Výhoda je v tom, že od pocitů přejdete k důkazům a vidíte, o kolik je daná verze lepší (nebo horší).

Pokud máte méně než 1000 konverzí za měsíc, tak o A/B testování ani neuvažujte. I v případě, že máte 1000 konverzí, tak budou testované verze muset být rozdílné o minimálně 15 %, aby to bylo statisticky jisté. A nebudete moct udělat víc než 20 testů ročně.

Ono A/B testování taky není svatý grál. Jednak i bez něj dokážete web výrazně zlepšit, jednak je tam dost pastí, které vás můžou potkat a výsledky jsou potom jen iluze.

Nicméně jsem sobě, a vám, chtěl udělat takový checklist, na co nezapomenout. Berte to jako takové work-in-progress noty a kompilát vlastních zkušeností a studií z Microsoftu, Netflixu, Amazonu, Bookingu, AirBnB a dalších.

Pokud zvládnete tohle, 80 % vašich experimentů bude v pohodě (zbytek tipů si probereme jindy, i tak to bude dost technické).

Je důležité vědět, co chcete zlepšit. Když se ptám poprvé zákazníků, tak většinou říkají:

Pokud vám jde jen o konverzní poměr, tak vypněte PPCčka a dejte dopravu na vše zadarmo. Konverzní poměr se tím určitě zlepší. Což se ale nedá říct o stavu firemního bankovního konta.

Obrat už je trochu lepší, ale i tady vám řeknu, škrtněte si marži / zlevněte o 20 % a prodávejte za náklady nebo pod ně. Obrat bude větší, protože budete pravděpodobně nejlevnější. A taky brzy v insolvenci.

Podle Roniho Kohaviho z Microsoftu je ideální metrika taková, která vám zvyšuje lifetime value uživatele. Často je to vážená kombinace prodaných kusů, obratu, zisku, a celkové hodnoty zákazníka (LTV).

Protože jinak zákonitě uslyšíte: „… ale zlepšil se nám čas na stránce / snížila bounce rate / další nepodstatná metrika.“

Nová verze vyhrála? Super. Nová verze nevyhrála? Nebo to nedošlo do statistické jistoty / síly?

Na papíře to vypadá jednoduše:

Ale co když B verze vyhrála, ale mobil se snížil o 20 % a desktop zvýšil o 30 %. Nasadíte to? Nebo co když je statisticky jistá sekundární metrika jako proklik do dalšího kroku, ale už ne hlavní metrika.

Pokud si tohle neřeknete předem, tak riskujete, že budete trpět kognitivním zkreslením.

Pro testování musíte mít solidní hypotézu. Něco, co se dá:

A taky něco, co vychází z dat a nevycucali jste si to z prstu. Ideálně si tím ověřujete něco, co jste zjistili jinými metodami výzkumu. Což může být cokoliv od analytiky po konzultaci s call centrem.

Hypotéza je prohlášení o tom, co dnes považujete za pravdivé.

Mustr na hypotézu je:

Na základě dat z A a zpětné vazby B si myslíme, že když uděláme C pro cílové zákazníky D, tak se stane E. Zjistíme, zda to byla pravda tím, že v datech uvidíme F a dostaneme zpětnou vazbu G. Předpokládáme, že se změní metrika H o I v rámci J byznys cyklů.

Příklad hypotézy: Z heatmap jsme zjistili, že lidi v košíku klikají na menu. Ale při segmentaci tito lidé nenakupují další produkty a odcházejí. Tím, že vyhodíme navigaci v košíku, dáme lidem méně možností a víc lidí dokončí objednávku.

Koho chcete otestovat? Lidi na desktopech, na mobilech. Zákazníky, přihlášené uživatele, lidi co navštívili stránku kontakt nebo posloupnost stránek?

A je možné z testu vyloučit část uživatelů, která je pro test nerelevantní?

Chcete zjistit něco o určitém typu uživatelů. Čím méně budete tento vzorek „znečišťovat“, tím přesnější budete mít výsledek. A taky rychlejší.

Já například doporučuji netestovat dohromady mobil a desktop, lidi se chovají různě a weby taky vypadají odlišně.

Většina práce vás bude čekat před samotným spuštěním A/B testu. Po samotném spuštění testu už jen budete kontrolovat, zda vše běží v pořádku a pak výsledek po spočítané době (případně v intervalech při sekvenčním testování).

Co potřebujete vědět pro výpočet?

A co si spočítáte?

Mám na to oblíbené kalkulačky od CXL, AB Tasty a AB Test Guide.

Schválně se podívejte, jak se vám mění konverzní poměr mezi jednotlivými dny. U většiny mých klientů to „lítá“ plus minus dvacet procent. A nedej bože, že je někde státní svátek.

I proto doporučuji jako minimum brát 2 týdny. V takovémto období se už většina odchylek zploští. Co se týče maximální doby, tam to hodně záleží na produktu. Čím je dražší a složitější, tím delší čas potřebují lidi na rozhodnutí o koupi.

Já teď například pomáhám s magnetorezonancí, a tam to moc impulzivní a rychlé rozhodnutí není.

Častá chyba – kterou jsem taky dělal – je ukončit test, jakmile dojde do statistické jistoty. Problém je ale v tom, že výsledek kolem statistické jistoty osciluje a to, že jednou vidíme jistotu nad 95 % neznamená, že zítra ji tam uvidíme taky.

Když dělali 1000 tzv. A/A testů (test stejných verzí), tak zjistili, že v nějakou chvíli dosáhlo statistické jistoty 53 % z nich. Jinými slovy ve většině testů stejných verzí vám v nějakou chvíli test ukazuje jistotu 95 %, že jedna verze je lepší než druhá. 

Chci tím říct, že fakticky spouštíte test s pevným časovým horizontem. Tím, že na to budete čumět každý den s prstem na tlačítku si zvýšíte šanci, že uděláte špatné rozhodnutí 5násobně.

Pokud si vezmu příklad, kdy máte 2000 uživatelů. V A variantě se podíváte až na konci testu (a míříte na 90% jistotu). Ve B variantě to budete kontrolovat po každé návštěvě. Čímž si zvýšíte šanci zvolit špatně 5násobně (a máte jen 45% jistotu, že zvolíte správně). Zde je k tomu detailní článek.

Čím víc variant budete testovat, tím větší budete mít šanci, že zvolíte špatnou. Odborně se tomu říká kumulativní alfa chyba. Přeloženo do češtiny to znamená, že šance, že zvolíte špatně se sčítá. Takže pokud si u 2 variant dovolíte chybovost 1 ku 20, tak u deseti testovaných variantách už je chybovost (při 95 % jistotě) nad 40 %.

Většina testovacích nástrojů už má v sobě zabudovanou korekci (Bonferroni, Dunnett, Šidák atd.).

Začněte jednoduše, a postupně můžete přidávat varianty (pokud na to máte dostatek konverzí). Hezký článek na téma pokrytí všech možností má Andrew Anderson. Jde o to, abyste maximalizovali šanci, že alespoň jedna varianta bude vítězná, a to uděláte jen tak, že budete testovat co nejvíce od sebe hodně odlišných variant.

Za ta léta testování jsem se naučil být (ještě větší) skeptik. Pokud to vypadá příliš dobře, bude v tom někde chyba. Dokonce to má i oficiální název: Twymanův zákon.

Všechny ty případovky, kdy změnou barvy tlačítka vylétla konverze o 253 % atp? Bullshit. Průměrné zlepšení v A/B testu je v nižších jednotkách procent.

Vypadá jedna z variant, že je to propadák? Nezastavujte ji. Prosím. Stejně tak neměňte poměr návštěvnosti v průběhu testu.

Protože se vystavujte riziku Simpsonova paradoxu (ne, není to ten seriálový). Radši vám to ukážu na příkladu:

Je zřejmé, že student A byl úspěšnější v obou semestrech, avšak celkově byl úspěšnější student B, přičemž celkový počet zkoušek byl pro oba stejný.

Podstata paradoxu spočívá v tom, že B měl poměrně vysokou úspěšnost během 5 zkoušek, tedy dlouhodobě. Student A, který v tomto semestru měl sice úspěšnost 100 %, avšak aplikovanou pouze na dvě zkoušky.

Gratuluji, že jste to dočetli až sem. Slibuji, že další článek bude letně odlehčený, ať vám nezavařím mozek.

Zdroje:
https://cxl.com/blog/stopping-ab-tests-how-many-conversions-do-i-need/
https://cxl.com/blog/ab-testing-guide/#how-analyze-ab-tests
https://hookedondata.org/guidelines-for-ab-testing/
https://cxl.com/blog/marketing-experiments/
https://www.alexbirkett.com/ab-testing/
https://netflixtechblog.com/improving-experimentation-efficiency-at-netflix-with-meta-analysis-and-optimal-stopping-d8ec290ae5be
https://www.convertize.com/ab-testing-tools/
https://booking.ai/is-your-a-b-testing-effort-just-chasing-statistical-ghosts-eb85602bef7e
https://www.evanmiller.org/how-not-to-run-an-ab-test.html