Roman Dušek
Produkt manažer vyhledávání na Seznam.cz
A/B testování
www.seznam.cz
Původně jsem si myslel, že A/B
testování je věcí zejména UX.
Co je to vlastně
A/B testování?
5 důvodů,
proč v
Seznamu
A/B testujeme
www.seznam.cz
A/B testujeme, protože nejsme
tak chytří, abychom věděli,
která z variant je nejlepší.
www.seznam.cz
www.seznam.cz
A/B testujeme, protože nevíme,
o kolik je nová verze
úspěšnější.
www.seznam.cz
A/B testujeme, jelikož přesně
nevíme, jaký boční efekt
změna způsobí.
www.seznam.cz
A/B testujeme, abychom
motivovali lidi z týmu vymýšlet
nové věci.
www.seznam.cz
A/B testujeme, protože chceme
vědět, proč něco udělala
konkurence.
Jak A/B testování
mění proces
inovace
služby?
www.seznam.cz
Jak to bylo předtím?
1. Nápad
2. Návrh
3. Schválit návrh
4. Implementovat
5. Schválit implementaci
6. Vyměnit starou funkčnost za novou (nebo něco přidat)
7. Vyhodnotit
www.seznam.cz
Jak je to nyní?
• Nápad
• Sběr všech možných návrhů
• Vybrat ty, které chceme realizovat
• Implementovat
• AB testovat
• Vyhodnotit
• Schválit a nasadit na 100 % trafficu
Životní
cyklus
A/B testu
www.seznam.cz
Životní cyklus A/B testu
1. Definice testu (co a proč chceme testovat?)
2. Návrh
3. Implementace
4. Nasazení do provozu
5. Nastavení testu
6. Aktivace testu
7. Běh testu
8. Vyhodnocení
9. Reportování
Definice a
vyhodnocení
A/B testu
www.seznam.cz
Definice A/B testu
• Co je předmětem testu?
• Jak to potom vyhodnotíme?
• Na kolik % trafficu pustíme změnu?
• Jak dlouho bude experiment probíhat?
• Musíme o změně někoho informovat?
www.seznam.cz
Vyhodnocení A/B testu
• Výstupem A/B testu je datová kostka
– Metriky: počet impresí, počet prokliků
– Dimenze: struktura webovky hledání (hierarchická)
• Spolehlivost záznamů
• Jak poznat úspěch?
– Direct maily
– Eshopy
– Webové nástroje (dropbox, samepage.io, …)
– Vyhledávač
www.seznam.cz
Jak často něco
testujeme?
www.seznam.cz
12/2013
Kdy jsme začali s testováním?
www.seznam.cz
93
Kolik testů jsme zrealizovali?
www.seznam.cz
až 100 %
Kolik trafficu využíváme pro
testování?
A co na to uživatel?
www.seznam.cz
A co na to uživatel?
• Nesmí vědět, že je součástí testu
• Musí být schopen zjistit, že je součástí testu
• Propagace testů směrem k veřejnosti?
• Propagace testů směrem do firmy?
www.seznam.cz
Náš testovací
framework
www.seznam.cz
Testovací framework
• Vlastní výroba 
• Řeší 3 úlohy:
– Definice A/B testu
– Spuštění a běh testu
– Vyhodnocení
Několik praktických
příkladů
www.seznam.cz
Pojďme zkusit vycentrovat
webovku vyhledávání
www.seznam.cz
www.seznam.cz
www.seznam.cz
Jiné označení skliku
www.seznam.cz
www.seznam.cz
www.seznam.cz
Nová struktura upoutávky na
zboží.cz
www.seznam.cz
www.seznam.cz
Nová s
www.seznam.cz
Best
practicies
www.seznam.cz
Best practicies
• AB
• ABCDEFGH…
• AA
• AAAAAAAAAA
• AAABBBCCC
Shrnutí
www.seznam.cz
A/B testování je užitečné!
www.seznam.cz
A/B testování mění způsob
řízení inovací.
www.seznam.cz
Posun od pocitů k faktům.
www.seznam.cz
A/B testování je nástroj, ne
dogma. Při vyhodnocování je
potřeba být vnímavý.
Otázky?
www.seznam.cz
Roman Dušek, @dusekroman, roman.dusek@firma.seznam.cz