www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Štěpán Škrob www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 O čem bude přednáška? Úvod * Architektura * Vyhledávání * Robot * Údaje z provozu Konec www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Úvod * Vyhledávače jsou si prakticky velmi podobné, liší se pouze v implementačních detailech :-) * Jako auta... www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Část 1 ­ Architektura www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Architektura 1. Hlavní části 2. Dvě serverovny 3. Blokové schéma 4. Hardware www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Hlavní části www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Dvě serverovny www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Blokové schéma www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Hardware * Robot + příprava databáze ­ 10 serverů, různé konfigurace: 2x dual core CPU, 2-4 GB RAM, SAS/SATA disky * Vyhledávání ­ 20 serverů x 2 serverovny, většina je: 2x dual core CPU, 2 GB RAM, 6x140 GB SAS www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Hardware: SAS vs. SATA NCQTCQOptimalizace req. 180300IO operace/sec 9 msec3 msecSeek 7,20015,000Otáčky 750-1000 GB70-140 GBKapacita SATA serial ATA SAS serial attached SCSI www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Hardware: TCQ, resp. NCQ www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Část 2 ­ Vyhledávání www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Vyhledávání 1. Zadávané dotazy 2. Lemmatizace 3. Hodnocení stránek www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Zadávané dotazy (1) * 10 náhodných dotazů ­ posilovna ­ plné hry ke stažení zdarma ­ plemena koní ­ planovac tras ­ petra němcová fotky ­ paragrafy a zákony ­ papírové vystřihovánky ­ panenka chou chou ­ paintball bazar ­ oplocení www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Zadávané dotazy (2) * Forma dotazů: ­ přídavná a podstatná jména, ­ 1. pád, ­ jednotné i množné číslo, ­ občas bez diakritiky. www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Lemmatizace (1) * Lemma = základní tvar slova * Lemmatizátor ­ Vstup: slovo ­ Výstup: lemma, morfologické informace (slovní druh, pád, číslo, osoba...) * Nejednoznačnost: stát, ženu, tancích... www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Lemmatizace (2) * Věta: Jeden z nejlepších zdrojů o německých tancích. * Lemmatizováno: Jedna/Jíst z dobrý zdroj o německý tank/tanec. * Disambiguace = vyloučení nejednoznačnosti www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Hodnocení stránek (1) * Titulek !! * Obsah stránky * URL www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Hodnocení stránek (2) Citační analýza pro dotaz ,,brno" www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Hodnocení stránek (3) * Pagerank = statická ,,důležitost" stránky založená na citační analýze * Předpoklad: statisticky náhodné chování * SPAM není jenom e-mail (každý systém se přizpůsobí kritériím, podle kterých je hodnocen :-) www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Část 3 ­ Robot www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Robot 1. Hledání nových stránek 2. Reindexace stránek 3. Ne-HTML formáty www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Hledání nových stránek (1) * Před 3 lety start na www.seznam.cz * Od té doby procházení nalezených odkazů * Domény .cz, .sk, .com, .org, .net, .info, ... * Hledá stránky v českém jazyce * Alternativní zdroje: RSS, články.cz, apod. www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Hledání nových stránek (2) * Robots.txt ­ standardní protokol pro zakázání přístupu robotů (www.robotstxt.org) * Textový soubor http://example.com/robots.txt # comment User-Agent: * Disallow: /statistiky User-Agent: AnnoyingBot Disallow: / www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Hledání nových stránek (3) * Sitemap.xml ­ nový protokol pro manifestaci existence stránek * Obvykle na http://example.com/sitemap.xml ... http://www.developstudio.com/ 2007-10-30T16:31:04+00:00 daily 1.0 ... www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Reindexace stránek (1) * Každý den se vybere množina stránek pro reindexaci * Při výběru se hodnotí ­ Datum poslední návštěvy ­ Rank ­ Frekvence změn www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Reindexace stránek (2) * Přetěžování webserverů ­ Shapování podle IP adresy ­ Omezení max počet URL / sec www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Ne-HTML formáty * XML (XSLT šablony ještě ne) * PDF * DOC (MS Word) www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Část 4 ­ Údaje z provozu www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Velikost databáze (1) * Počet dokumentů www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Velikost databáze (2) 200 GBObsah dokumentů (texty) 4 kB / dokumentPrůměrný text 120 GBIndexy 55 miliónůPočet dokumentů www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Zátěž během dne * (pondělí) 1/6 zátěže => 250 dotazů/s www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Doba odezvy během dne * Doba odezvy v msec www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Výkon robota 10 miliónů dokumentů 100 GB dat Denní objem ~10 kBPrůměrná stránka > 100 stránek / secRychlost stahování www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Stáří dokumentů ve dnech (1,7; 13,8)Modus (nejčastější) 3,8Medián (prostřední) 8,8Průměr 125Maximální 0,9Minimální www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Reklama * Uncle Sam wants you! http://vyvojari.seznam.cz www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Budoucnost? * Lingvistické nástroje ­ Opravy překlepů, ­ Synonyma, ­ Hodnocení textu... * Statistické zpracování dat ­ Logy, ­ Odkazové sítě... www.seznam.cz Seznam.cz,a.s.IRadlická2I15000Praha5ITel.:+420234694111IFax:+420234694115 Konec Děkuji za pozornost. More info http://fulltext.sblog.cz