ILINČEV 
Vodil jsem k rodičům přítelkyně, až když nebylo zbytí. A dlouho jsem jim to vymlouval. Protože co je v běžné rodině trochu nervózní formalita, to byl u nás výslech gestapa. Tatík nasadil balkánský takt a sérii otázek, které vyřadily 100 % účastnic. Šlo jen o to, v jaké části vypadnou.
Pořád to ale byl čajíček proti tomu, co absolvoval brácha. Sice jen jednou. Ale stálo to za to.
Trochu pro kontext – můj brácha nerad řeší konflikty a trapné sociální situace. A to, co ho čekalo, byla taková dost kvintesence trapnosti kombinovaná s hanbou.
Táta se rozhodl, že brácha nechodí se správným typem slečen. Tak šel tomu štěstíčku trochu naproti a sám bráchovi jednu vybral. No a ke mně se šel poradit, jak je propojit.
Tátu napadl geniální nápad. Dát to bráchovi pod stromeček. Nemyslím zabalenou živou slečnu, co bude skákat z krabice, ale fotku s telefonním číslem.
Já říkám: „Tati, to je volovina. Bude to průser. Znáš bráchu. Nedělej to!“ A měl tuhle katastrofu za zažehnanou.
No a táta to fakt udělal!
Brácha si rozbalil dárek, kouká na fotku, kouká na tel. číslo, kouká na rodiče, kouká do blba. Pak asi tak 5 sekund ticha, a pak praví: „Co to doprdele je?“ Fakt jsem si myslel, že se zvedne, nafackuje tátovi kaprem a odejde.
No a proč vám tohle říkám? Chci ilustrovat, že cíl nesvětí prostředky. A že je důležité si vybrat, jak budete měřit úspěch.
Kobry
V indickém Dillí za koloniální vlády Britů byly přemnožené kobry. Tak Britové vyhlásili, že za každou kobří hlavu bude odměna. A Indové začali zabíjet kobry. Brzy jim ale kobry došly, tak je začali chovat, aby jim nevyschl zdroj příjmů. Když na to Britové přišli, tak přestali vyplácet odměny. A Indové – kteří teď měli bezcenné kobří farmy – vypustili hady do přírody. Takže bylo kober ve finále víc než předtím.
Odborně se tomu říká perverzní incentivy (pobídky). A příkladů je plno, od kanadských sirotků, které kvůli penězům prohlašovali za mentálně retardované až po emisní povolenky v EU.
Charles Goodhart řekl: „Pokud se metrika stane cílem, přestává to být správná metrika.“
Tři požadavky klientů
Já rád věci zlepšuji. Na základě dat. Po krocích.
Je ale dobré si vždy dopředu říct, jak změříme úspěch. Protože co nezměřím, to nezlepším. Což je dobře i špatně. Dobře v tom, že je to exaktní. Špatně v tom, že často je nejdůležitější zlepšit to, co se jednoduše nedá změřit. Třeba loajalita zákazníků. A ať vás ani nenapadne zmiňovat NPS skóre – protože je rozbité :).
Před jedním velkým redesignem jsem měl na toto téma rozhovor s klientem:
Já: „Jak budeme měřit, že se redesign povedl?“
Klient: „Mělo by se nám líbit, jak to vypadá?“
Já: „Nám komu, konkrétně?“
Ukážu vám na třech typických příkladech, jak se dá obelstít metrika, pokud vás nezajímá nic jiného. Všechny zmiňované kroky dlouhodobě firmu poškodí ne-li zahubí.
Zvedneme konverze
Cela firma se rozhodne, že zvedne konverze ze 3 na 4 %.
- Přestanu investovat do reklamy.
- Klesne cena za získání zákazníka, ale bude méně objednávek.
- Budu návštěvníky e-shopu maximálně tlačit do košíku.
- Budu ukazovat produkty s malou marží a snižovat tak průměrnou hodnotu objednávky.
- Dám dopravu zdarma na vše.
- Masivně pojedu slevy, vyskakovací okna a speciální akce.
- Pravděpodobně se mi zvýší vratkovost a zatížení zákaznické podpory.
- Taky se mi sníží celková hodnota zákazníka (LTV) a opakované nákupy.
- Budu AB testovat jen hypotézy, které mi potenciálně pomůžou zvednou konverzi.
OK, řeknete si. Tak co třeba …
Zvedneme obrat
Cela firma se rozhodne, že zvedne obrat o 50 %.
- Budu ukazovat primárně drahé produkty, a to včetně řazení od nejdražšího.
- Masivně budu tlačit upsell (dražší verzi produktu), cross-sell (doplňkové zboží).
- Testovat budu primárně zvýšení průměrné hodnoty objednávky a cílit na části webu s velkou návštěvností.
- Přestane mě zajímat dlouhodobá vize firmy, pojedu po kvartálech.
- Přestanu spouštět riskantní testy, budu ladit a drobně vylepšovat.
- Začnu propagovat přidané služby, jako je pojištění, splátky, prodloužení záruky, rychlejší reklamace atp.
- Pravděpodobně se mi zvýší vratkovost a zatížení zákaznické podpory.
- Taky se mi sníží celková hodnota zákazníka (LTV) a opakované nákupy.
- Vyvaruji se riskantních AB testů a nebudu zkoušet 4 špatné varianty, abych narazil na 5. vítěznou.
Tohle taky není ideální. Tak co třeba …
Zvedneme zisk
Celá firma se rozhodne, že zvedne zisk o 50 %.
- Budu propagovat produkty s velkou marží. Tzn. luxusní a doplňky. Upravím podle toho řazení produktů i výsledky vyhledávání.
- Masivně budu tlačit upsell (dražší verzi produktu), cross-sell (doplňkové zboží).
- Začnu lidi strašit poruchovostí/ztrátou a nabízet jim pojištění, prodloužení záruky, okamžitou výměnu, rychlejší reklamaci.
- Marketing pojedu primárně e-mail a obecně reklamu s velkou návratností.
- Hodně se zaměřím na stávající zákazníky na úkor růstu, který je drahý.
- Přestanu inovovat a investovat do obsahu a brandu.
- Pojedu AB testy, které budou maximalizovat marži a nebudu moc riskovat.
Všechny 3 příklady mají jedno společné: Nezajímá je zákazník, dlouhodobá strategie, vize firmy a je tam velká averze k riziku. Bez toho ale vaše firma nepřežije.
Firma Kodak měla monopol na fotografie. Pak vymyslela digitální fotky a dokonce na to měla pár patentů. Ale řekli si, že si přece nezabijí byznys s vyvoláváním fotek. Ted vyrábí papíry do tiskáren.
Overall Evaluation Criteria – Ronny Kohavi
Ronny Kohavi je člověk, co v Microsoftu rozjel soustavné AB testování – aktuálně spouští 30 testů každý den. V této přednášce hezky vysvětluje, jak důležité – a zároveň komplikované – je si zvolit správnou metriku.
Guardrail metriky
Guardrail je zábradlí. A guardrail metriky jsou čísla, která by se při zlepšování efektivity neměla zhoršit.
Například:
- Rychlost načítání webu.
- Zatížení zákaznické podpory.
- Objem vratek a reklamací.
- NSP, když už ho tedy měříte.
- Spokojenost zaměstnanců.
Až budete příště definovat cíle, dejte si pozor, aby se vám nesplnily :).
P.S.: Brácha nakonec slečně zavolal a dokonce se sešli. Ale souznění nenastalo.
Zdroje:
https://towardsdatascience.com/a-guide-for-selecting-an-appropriate-metric-for-your-a-b-test-9068cccb7fb
https://www.dynamicyield.com/lesson/maximum-returns-with-3-ab-testing-rules/
https://exp-platform.com/Documents/2015-08OnlineControlledExperimentsKDDKeynoteNR.pdf
https://blog.statsig.com/picking-metrics-101-e7ce9f47350a
https://www.creative-cx.com/how-do-you-decide-on-the-primary-metric-for-your-experiments/
https://speero.com/post/experimentation-metrics-that-matter
https://www.linkedin.com/posts/craigsullivan_experimentation-perverseincentives-abtesting-activity-6875021014254845952-HDzI/
https://www.linkedin.com/posts/craigsullivan_experimentation-perverseincentives-abtesting-activity-6875410205778169856-zYO4/
https://www.linkedin.com/posts/craigsullivan_experimentation-perverseincentives-abtesting-activity-6876902201139187712-vMUz/
https://en.wikipedia.org/wiki/Goodhart%27s_law
https://medium.com/gousto-engineering-techbrunch/a-framework-for-metric-selection-in-experimentation-the-goldilocks-zone-6cc13855b28
Smysluplná debata