www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
From: =?ISO-8859-2?Q?Ing=2E_Michal_Bukovsk=FD?=
<michal.bukovsky@firma.seznam.cz>
To: undisclosed-recipients: ;
Subject: =?ISO-8859-2?Q?P=F8edn=E1=B9ka_o_emailu?=
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
OObsahbsah
● Architektura emailu
● Příjem a odesílání pošty
● Storage dat
● Ochrana proti Spamu
● Ochrana proti Virům
● Technologie
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
NNějaká čísla na úvod...ějaká čísla na úvod...
Podle počtu zpráv
● Přichází 85 000 con/min
● Přijímáme 15 000 msg/min
● Ukládáme 2 000 msg/min
● Odesíláme 2 500 msg/min
● Generujeme 300 bounce/min
● A to vše pro více jak 8 000 000 uživatelů
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
NNějaká čísla na úvod...ějaká čísla na úvod...
Z hlediska velikosti zpráv a hardware
● Přes 3,2 peta byte
● Průměrná velikost zprávy je cca 400kB
● Více jak 1 řada racků v každé serverovně
● Což skoro 500 serverů (více jak ¼ serverů seznamu)
● Příkon přes 250 kWh (spotřeba 1250 prům. domácností)
● 350 RO/s a 150 RW/s
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
AArchitekturarchitektura
Internet
I/O
Storage
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
AArchitektura - I/Orchitektura - I/O
Internet
QM
Storage
SMTPD
SMTPC
SMTP
SMTP
Storage
Storage
GList
FastRPC
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
AArchitektura - I/Orchitektura - I/O
Internet
QM
Storage
SMTPD
SMTPC
SMTP
SMTP
Storage
Storage
GList
FastRPC
SA
NOD32
Scanner
Storage
SA
nod32
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
AArchitektura - I/Orchitektura - I/O
Internet
QM
Storage
SMTPD
SMTPC
SMTP
SMTP
Storage
Storage
GList
FastRPC
SA
NOD32
Scanner
Storage
SA
nod32
MDA
MQA
Bouncer
Storage
Storage
Storage
Storage
Storage
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
AArchitektura - Storagerchitektura - Storage
Internet
I/O
EboxEbox
Web
POP3
Fetcher
HTTP, POP3
FastRPC
Storage
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
AArchitektura - Storagerchitektura - Storage
Internet
I/O
EboxEbox
Web
POP3
Fetcher
HTTP, POP3
FastRPC
Storage
Search
Spool
FastRPC
Storage
Storage
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
AArchitektura - Storagerchitektura - Storage
Internet
I/O
EboxEbox
Web
POP3
Fetcher
HTTP, POP3
FastRPC
Storage
Search
Spool
FastRPC
Storage
Storage
FS
Switch
StorageStorage
Internet
I/O
Ebox
Web
POP3
Fetcher
HTTP, POP3
FastRPC
Storage
Storage
AArchitektura -rchitektura - DeduplikaceDeduplikace
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
00*, 11*, ... 00*, 11*, ... 22*, 33*, …
Princip hashování:
EMAIL → 0011223344556677 → DH1
DH1 DH2 DH3
Storage
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
SSpam - SMTPDpam - SMTPD
● Velký traffic nemusí být vždy nevýhoda
● GeoIP – IP rasismus
● Autoblocker – automatický IP/User blacklist
● SPF – csas.cz
● GrayList – 80% úspěšnost
● Blacklisty a Whitelisty
● Delivery test
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
SSpam - Scannerpam - Scanner
● Domain Keys
● SpamAssassin
● Bayes – SA, Bogofilter
● IP/URL DNS Blacklisty
● DCC Blacklisty
● Sbírání URL
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
SSpam - SMTPCpam - SMTPC
● Nejen spameři jsou na blacklistech
● CAPTCHA na webmailu
● Více odchozích IP adres
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
VViryiry
● Nod32 - scanner
● Aktualizace – opět velký traffic výhodou
● V dnešní době menší problém než spam
● http://www.virovyradar.cz
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
TTechnologieechnologie
● C++ a STL, Python
● MySQL
● Proprietární databáze metadat
● FastRPC, HTTPStorage
● MetaServer
● Memcache
● Apache, lighttpd, mod_python, Teng
www.seznam.cz
Seznam.cz,a.s.Radlická608/2,15000,Praha5
OOdkazy a otázkydkazy a otázky
● http://vyvojari.seznam.cz
● http://seznam.sblog.cz
● http://opensource.seznam.cz
<michal.bukovsky@firma.seznam.cz>