Jiří Materna, Vedoucí týmu výzkumu
PV201 Portálové technologie v praxi
Strojové učení a umělá
inteligence v praxi
www.seznam.cz
• Úvod
• Strojové učení
• Rankování
• Zpracování dotazů
• BigData
• Distribuované výpočty
• Volitelné téma podrobně
• Diskuze
Osnova
@JiriMaterna
www.seznam.cz
Fulltextové vyhledávání ve světě
@JiriMaterna
www.seznam.cz
• 350 dotazů za sekundu, přes 500 ve špičce
• 15 milionů dotazů denně
• 600 milionů prohledávaných dokumentů
• 10 miliard známých odkazů
• 1000 dokumentů stažených za sekundu
Search.seznam.cz v číslech
@JiriMaterna
www.seznam.cz
65 % čeština
25 % angličtina
3 % slovenština
3 % němčina
4 % ostatní jazyky
Cizojazyčné vyhledávání
@JiriMaterna
www.seznam.cz
Blokové schéma fulltextu (2010)
@JiriMaterna
www.seznam.cz
Strojové učení
@JiriMaterna
www.seznam.cz
Klasifikační úloha
@JiriMaterna
www.seznam.cz
Filtrování nevhodného obsahu
@JiriMaterna
www.seznam.cz
Filtrování nevhodného obsahu
@JiriMaterna
Podíl porna na internetu: 1.5 %
www.seznam.cz
Regresní úloha
@JiriMaterna
www.seznam.cz
Rank = míra příslušnosti stránky k dotazu
Rankování stránek
@JiriMaterna
www.seznam.cz
Rank = míra příslušnosti stránky k dotazu
on-page vs. off-page faktory
signály dotazu
singály dokumentu
signály kombinace dotazu a dokumentu
Rankování stránek
@JiriMaterna
www.seznam.cz
PageRank
@JiriMaterna
www.seznam.cz
Rankování stránek
@JiriMaterna
www.seznam.cz
Dotaz: “tyden vedy”
Zpracování dotazu
@JiriMaterna
www.seznam.cz
cesky jazyk –> český jazyk
Doplnění diakritiky
@JiriMaterna
www.seznam.cz
cesky jazyk –> český jazyk
zrani –> zrání
–> žraní
–> zraní
Doplnění diakritiky
@JiriMaterna
www.seznam.cz
fakulta informatiky –> fakulta informatika
Lemmatizace
@JiriMaterna
www.seznam.cz
fakulta informatiky –> fakulta informatika
tancích –> tank (kniha o ruských tancích)
–> tanec (kniha o slovanských tancích)
Lemmatizace
@JiriMaterna
www.seznam.cz
Víceznačnost na více úrovních
@JiriMaterna
www.seznam.cz
Kdy je možná substituce synonym?
zubař / stomatolog
překládat / tlumočit
Synonymie
@JiriMaterna
www.seznam.cz
Kdy je možná substituce synonym?
zubař / stomatolog
překládat / tlumočit
(1) Student jazykové školy překládal projev zahraničního hosta.
(2) Tu hromadu písku překládal celý den.
Synonymie
@JiriMaterna
www.seznam.cz
Složitý systém vs. Big data
@JiriMaterna
x
Noam
Chomsky
Peter
Norvig
www.seznam.cz
Distribuované výpočty
@JiriMaterna
www.seznam.cz
l
Map/Reduce
@JiriMaterna
www.seznam.cz
• Deep learning a neuronové sítě
• ?
• ?
Volitelné téma podrobně
@JiriMaterna
www.seznam.cz
Jiří Materna, jiri.materna@firma.seznam.cz, @JiriMaterna
@JiriMaterna