Co jsem se naučil po 100 A/B testech

Můj vůbec první článek byl o A/B testování (a 42stupňových horečkách). Tak jsem si říkal, že po dvou letech – a 100 A/B testech – bych se mohl ohlédnout zpátky.

Testuji rád. A neomezuji to na weby. Nedávno jsem byl na fajn UX/CRO konferenci pořádané Honzou Kaliankem a dali jsme se do řeči s pár účastníky (David Kočí, Lukáš Marvan, UXák z Lundegaardu, jehož jméno si nepamatuji, protože jsem vůl).

A zatímco Lukáš básnil o výhodách mikrospánku (10 minut v práci) namísto kafe, tak my jsme s Davidem zjistili, že jedeme oba metodu Wima Hofa. Je to systém dýchání, cvičení a otužování, které vám dramaticky zvyšuje imunitu. Wim Hof drží asi 25 Guinessových rekordů spojených s extrémním chladem. Takže například vydrží 80 minut v ledu, aniž se mu sníží vnitřní teplota nebo si jen v šortkách vyskotačí na Kilimandžáro. Případně si nechá píchnout virus, který způsobuje vysokou horečku, migrénu a třas a díky dýchání a meditaci jej zničí. A učí to ostatní, které například v zimě v šortkách bere na Sněžku.

Na tu Sněžku jsem si to nakonec zkusil taky – a byla to tragédie.

No a pak jsme si dali pár piv a řekli si, že to s Davidem dáme.

Takže já teď to cvičení beru jako A/B testování vlastního těla. A výsledky jsou po dvou týdnech hodně zajímavé. Zkouším aplikovat podobný systém, jako štíhlý Japonec, co se rozhodl zvítězit v pojídání hotdogů.

Na rozdíl od dvou týdnů zkušeností s otužováním, mám těch s A/B testováním trošku víc. A po čase se objevují určitá zjištění. Takže bych je rád shrnul, abych vám pomohl na cestě k lepšímu A/B testování.

Ještě k tomu, co je to A/B test. Ukážu to na příkladu. Máte webovou stránku (A). Uděláte druhou variantu téže stránky (B). Rozdělíte rovnoměrně návštěvníky a pošlete půlku návštěv na verzi A a půlku na verzi B. Zjišťujete, která verze je efektivnější (více objednávek, větší obrat, více přihlášení atp.).

Podle VWO, Appsumo a dalších přináší jen 1 z 8 testů pozitivní výsledek. Fakt je ten, že pokud tomu trochu rozumíte, tak se tahle nehezká statistika výrazně zlepšuje. A pokud jste špičkový CRO expert, tak byste měl mít úspěšnost 1 ku 2.

Většinou jste v jedné z těchto fází:

Což pořád znamená, že budete mít více neúspěšných A/B testů, než těch úspěšných. A je to tak v pořádku. Důležité ale je, aby to věděl i klient.

Web je plný případových studií, kde jsou nárůsty v desítkách i stovkách procent. Takže klienti automaticky očekávají, že podobných výsledků budete soustavně dosahovat i vy. Musíte je upozornit, že se dívají na jednorožce.

Peep Laja odhaduje, že:

A to počítejte, že uděláte 1-2 testy měsíčně. Když si to spočtete, tak 24 testů, z toho 8-10 úspěšných a každý vám zvýší konverzi o jednotky či nízké desítky procent. Někdy se zadaří, ale berte to jako bonus.

Takže buďte ve slibech klientům opatrní. Jinak to bude obdobné zklamání, jako při sundání extra push-up podprsenky.

Hodně klientů si myslí, že mám křišťálovou kouli. A že všechno, co jim doporučím, bude na 100 % fungovat. A jelikož o tom vím, tak už jim doporučení rozděluji na:

Na rozdíl od většiny UXáků neříkám na všechno „to záleží“, a jdu se svou kůží na trh. Protože klienta tahle odpověď jen vytočí. Takže se oháním Paretovým pravidlem (80/20) a mým oblíbeným: „Dělejte inteligentní chyby rychle„. I proto se mi tak líbil rozhovor majitele Footshopu na Mladý Podnikatel.

Úspěšnost svých A/B testů nejvíce zvýšíte tím, že 80 % času strávíte pořádnou UX & CRO analýzou. Za těch bezmála 20 let se mi osvědčily následující nástroje a postupy:

Těch kroků může být samozřejmě víc, ale tohle je takové minimum, ze kterého nerad slevuji.

Testovat nemůžete, pokud to není technicky možné. Buďto nemáte dost konverzí (minimum je 200 za měsíc) nebo to technicky nejde (implementace, citlivá data) nebo to neprojde přes vedení.

Objektivně jediný důvod je malá návštěvnost / počet konverzí. Protože pokud vám z kalkulačky délky testu vyjde cokoliv nad 6-8 týdnů, tak testovat nedává smysl. Kvůli tzv. sample-polution (měnící se vzorek uživatelů) a opportunity costs (ušlý zisk – ten se dá zmenšit pomocí multi-arm bandit algorytmů).

Tady je článek o tom, co dělat, když nemáte dost návštěvnosti a chcete zlepšit UX a konverze.

Dlouhodobá optimalizace nejde bez toho, aniž máte plán na testování. Pokud chcete opravdu výrazně změnit podnikání klienta k lepšímu, dříve nebo později začnete místo velikostí obrázků a úprav košíku řešit celý business.

Například jak vymyslet konkurenční výhodu, jak zapojit marketing do optimalizace, jak propojit off-line a on-line, jaký sortiment přidat, kam expandovat do zahraničí atd.

Systémů je fůra, mně se osvědčil ten od ConversionXL.

V tomhle mám výhodu, protože když něco nevím, tak volám Petra Bláhu.

Nemusíte na to mít doktorát, ale je dobré chápat statistickou jistotu, false positives, p-value, průměr, medián, vzorek. Omlouvám se za tu angličtinu, ale já to v češtině neumím.

Hlavní je si počkat na statisticky validní výsledek (ideálně 95% jistotu) a předem si spočítat délku testu.

Protože jak říkal Lukas Vermeer z Booking.com na minulém Marketing Festivalu. Čím častěji se díváte na výsledky A/B testů, tím větší je pravděpodobnost, že zvolíte špatnou variantu.

Tady je vysvětlení statistiky A/B testu pro nematematiky.

Ideální je nespoléhat se na jeden nástroj. Já vždy výsledky v A/B testovacím programu pro jistotu ještě kontroluji v Google Analytics.

Navíc – a to vám nikdo neřekne – to, že vám vyjde výsledek v A/B testu ještě neznamená, že to tak bude v reálu. Brian Masey má pravidlo, abyste výsledek v A/B testu vydělili dvěma a to považovali za reálný přínos po nasazení do ostrého provozu.

Tady je graf výsledků A/B testů (osa X) a jejich reálný přínos (osa Y). A ano, je tam špatně zaznačený přínos na produkci v pravé části.

Tady vidíte, že může být test, který dopadne „blbě“ a při tom má pozitivní přínos při reálném nasazení (levý horní kvadrant). Vy byste se měli hlavně bát pravého spodního kvadrantu.

Žádná změna není stoprocentní. Ze zkušeností je ale pár věcí, které mají velkou šanci na úspěch. Takže jimi začněte nebo se alespoň inspirujte v A/B testech.

Kluci z Baymardu srovnali 50 nejlepších e-shopových košíků a vítězný košík má B & H Photo.