42stupňové horečky a A/B testování

Začalo to v listopadu. Mojí dceři Mie spadla brada do polévky. Tak jsme se tomu zasmáli a dali jí do postele.

Tam už se začala cukat, chrčet a upadat do bezvědomí.

„A doprdele,“ řekl jsem si. Epilepsie. Máme to v rodině.

Takže 155, sanitka a nemocnice. Nejhorších 7 dní mého života. Nakonec to byly křeče z horečky.

Mohli mi ale v nemocnici říct, že febrilní a fibrilní jsou dvě různé věci. Pár dní jsem žil v tom, že má dcera něco se srdcem.

Po příjezdu domů a pořádném jídlu řekla Mia: „Mňam. Doma. Radost.“

Přiznám se, že jsem se rozbrečel.

Následující rok byl náročný. Co 6 týdnů horečky, oblbováky, vstávání v noci po hodině.

V práci jsem se nemohl soustředit, efektivita šla do háje.

V létě jsme byli u náhradní doktorky. Mia měla takovou teplotu, že to nezměřil ani teploměr.

Paní doktorka Veverkova, ke které jsem chodil jako malý kluk, doporučila zchlazovací koupele a prvotní kravské mléko (kolostrum).

A jelikož jsme byli už zoufalí, tak jsme zkusili i alternativní čínskou medicínu.

A ono to pomohlo!

Mia je sice nemocnější, než normální dítě. Ale jak říkám já, je normálně nemocná.

A v té chvíli mi to začalo vrtat hlavou. Co jí pomohlo? Bylo to to kolostrum nebo ta alternativní medicína. Nebo to s tím vůbec nesouviselo? Co když jí jedna věc pomohla a druhá uškodila?

Něco trochu podobného řeším s klienty. Mají svoje dítě v podobě firmy a často řeší web.

Většinou přichází s pocitem, že by to mohlo být lepší, ale nevědí přesně jak.

Rozhovor má poměrně standardní průběh.

Klient: „Potřebujeme nový web.“

Já: „Jak to?“

Klient: „Tenhle nefunguje/je ošklivý/mě už nudí.“

Já: „To vám řekli zákazníci?“

Klient: „Já to prostě vím.“

Já: „A co na webu nefunguje?“

Klient: „No to právě nevím. To je vaše práce, ne?“

Já: „Tak určitě.“

Samozřejmě trochu přeháním. Na druhou stranu jsem si jistý, že až na naprosté výjimky (placení přes Gumroad) může být jakýkoliv web lepší.

Lepší znamená, že vám bude víc vydělávat.

A to je všechno.

Nemusí být hezčí, někdy ošklivější web je ten správný (podívejte se na Craigslist).

Pravděpodobně bude ale uživatelsky příjemnější, jednodušší, přehlednější.

Důležité je slovo pravděpodobně.

Funguje tu klasicky Paretovo pravidlo (80/20). Máte 80% šanci, že na vašem webu budou fungovat „best practices“.

Problém je, že i po 17 letech praxe jsem jen o trochu kvalifikovanější než vy v odhadu, co bude fungovat. Ano, je to trochu smutné, ale tohle je fakt. A to na to mám 6 certifikací a každý den se hodinu dvě vzdělávám.

Kdybych s jistotou věděl, co změnit, tak lezu po horách, cestuju, a pracuju jeden den v měsíci za šílené peníze.

I poté, co udělám kompletní heuristickou analýzu, pobavím se ze zákazníky, udělám uživatelské testování, prolezu analytics, podívám se na mousetracking a videa uživatelů mám jen rámcovou představu, kde by mohl být problém.

Peep Laja tomu říká areas of interest. Místa s potenciálem tomu říkám já.

S klientem proberu analýzu a logická tendence je to jít hned změnit. „Krása, tak já to předám k implementaci,“ říká klient.

V tu chvíli se zamračím se slovy: „Ne.“

Klient: „Proč ne? Vždyť to všechno vypadá tak logicky a máme to na základě dat.“

Já: „Protože jsou to pořád jen domněnky. Musíme každou tu změnu otestovat.“

Klient: „A jak dlouho to potrvá?“

Já: „2 až 4 týdny, pokud máte dostatečnou návštěvnost a navrhovaná úprava je dostatečně odlišná.“

Klient: „A nemůžeme to změnit všechno a pak to otestovat?“

A tohle je, vážení, otázka za milion dolarů.

Tedy spíš 300 milionů, jako v případě jednoho tlačítka.

Pokud udělám na vašem webu 5 změn, tak nevím, která změna jak ovlivnila výsledek.

A je v zásadě jedno, zda to byl nárůst, propad nebo šulnul.

Je klidně možné, že celkový výsledek byl nijaký. Jedna změna vám zlepšila obrat o 47 %, a zbylé 4 vám to stáhly zase na nulu. A to nemluvím o tom, že to může být úplně jinak pro nové návštěvníky nebo pro lidi, co na to koukají na tabletu.

Vezmu příklad z praxe.

Máme klienta, který podniká v cestovním ruchu. Na webu má 5 produktů a jeden objednávkový formulář. Po přemlouvání jsem udělal najednou 3 změny:

Všechno jsou to změny logické. Nicméně po týdnu se ukázalo, že obrat spadl o 20 %. Takže jsem vrátil všechny změny, podíval se na 50 videí uživatelů a začal se vrtat v datech. A zjistil jsem, že to byl náhodný výkyv, a že se to po týdnu zase vrátilo na původní hodnotu.

Což je sice úsměvné, ale hororových příběhu s redesignem webu a následném poklesu obratu je dost a dost.

Podle mého klasickým redesignům odzvonilo. Půjde se metodou evoluce a rychlých drobných kroků, které budou vždy otestované a validované. Amazon například jede 100 souběžných testů. Pořád.

A co z toho plyne?

Až to budete chtít příště vzít od podlady, tak to berte pěkně parketu po parketě.

A než začnete, tak musíte: