Budování sítě v datových centrech
Ing. Pavel Danihelka
Teamleader network administrator
www.seznam.cz
Obsah
● Seznam a jeho síť
● Hardware
● Škálovatelnost a propustnost
● Zajištění vysoké dostupnosti
● Load balancing
● Návrh architektury sítě
www.seznam.cz
Představení služeb Seznamu
● návštěvnost HP Seznamu přes 2M uživatelů denně
(zdroj: Netmonitor)
● řada služeb v top 10 českého internetu
● široké portfolio služeb
www.seznam.cz
Síťová infrastruktura Seznamu
www.seznam.cz
síť v datacentru Nagano síť v datacentru TTC
síť O2 síť Dial TelecomNIX
Síťový provoz Seznamu
● 2x 10Gb do NIX, 2x 10Gb tranzit (Dial Telecom a O2)
● linka do NIX2
●
●
●
● linka do NIX4
www.seznam.cz
Požadavky na síť
● vysoká dostupnost
zhruba 99.999% tj. výpadek max 30s za měsíc
● redundance síťových prvků a datových cest
● rychlá konvergence sítě
řádově sekundy
● škálovatelnost
neustálý růst, kolem 1200 serverů
● velká síťová propustnost
odchozí provoz přes 6,5Gb/s
www.seznam.cz
Obsah
● Seznam a jeho síť
● Hardware
● Škálovatelnost a propustnost
● Zajištění vysoké dostupnosti
● Load balancing
● Návrh architektury sítě
www.seznam.cz
Hardware
● přepínače (switch)
● konvertory (transceiver)
● kabeláž
● směrovače (router)
● ukázka jednoduchého zapojení
www.seznam.cz
Přepínače (switch)
● L2 prvek, rack mount
● zapojení koncových serverů
● možnost stohování switchů
● management, SNMP, VLAN
www.seznam.cz
Konvertory (transceiver)
● GBIC, SFP
- 1 GigE, metalické/optické
● XENPAK, X2, XFP, SFP+
- 10 GigE, optické
www.seznam.cz
Kabeláž
● metalická kabeláž
kategorie 6 - 1000BASE-T
● optická kabeláž
LC/SC konektory
singlemode/multimode
www.seznam.cz
Směrovače (router)
● L3 prvek, redundantní zdroje, modulární design
● centrální bod sítě
● propoje ke switchům a k providerovi
● směrování paketů
www.seznam.cz
Ukázka jednoduchého zapojení
www.seznam.cz
ISP
router
switch
servery
Obsah
● Seznam a jeho síť
● Hardware
● Škálovatelnost a propustnost
● Zajištění vysoké dostupnosti
● Load balancing
● Návrh architektury sítě
www.seznam.cz
Škálovatelnost a propustnost
● 10 GigE po optice (IEEE 802.3ae)
● 1 GigE po optice (IEEE 802.3z) a metalice (IEEE
802.3ab)
● link aggregation (IEEE 802.3ad)
● dynamické směrování
OSPF, IS-IS
www.seznam.cz
Link aggregation
● IEEE 802.3ad, Etherchannel (Cisco), Trunking (Sun),
Bonding (Linux)
● L2 protokol, agregace až 8 linek
● rozvažování provozu na základě hashe
dst-ip, dst-mac, dst-port, src-dst-ip, src-dst-mac
www.seznam.cz
OSPF (Open shortest path first)
● RFC 2740
● dynamický směrovací protokol
● používá Dijkstrův algoritmus k výpočtu nejkratší cesty
● používá se pro směrování ve vnitřní síti
● konvergence kolem 1s
www.seznam.cz
OSPF - pokračování
www.seznam.cz
R1
R2 R3
R4
Obsah
● Seznam a jeho síť
● Hardware
● Škálovatelnost a propustnost
● Zajištění vysoké dostupnosti
● Load balancing
● Návrh architektury sítě
www.seznam.cz
Zajištění vysoké dostupnosti (High
availability)
● VRRP
● STP (spanning tree protocol)
www.seznam.cz
VRRP
● VRRP (Virtual router redundancy protocol)
RFC 3768
● IP adresa “sdílená” mezi více boxy
● komunikace přes multicast, priority
● konvergence cca 3s
www.seznam.cz
STP (Spanning tree protocol)
● L2 protokol, BPDU rámce každé 2s
● Rapid-PVST+ (802.1w)
● stromová topologie, redundance datových cest
● root bridge, path cost
● strom nejkratších cest
● konvergence kolem 1s
www.seznam.cz
S1 S2
S3
Obsah
● Seznam a jeho síť
● Hardware
● Škálovatelnost a propustnost
● Zajištění vysoké dostupnosti
● Load balancing
● Návrh architektury sítě
www.seznam.cz
Load balancing
● motivace – rozkládání provozu na více fyzických
serverů
● DNS round robin
- výhody - jednoduché řešení
- nevýhody - spotřeba IP adres, řešení výpadků strojů
www.seznam.cz
Load balancery
● samostatné HW řešení
Cisco, Citrix, F5, Juniper, Nortel
● integrované HW řešení
Cisco ACE modul, CSM modul
● softwarové řešení
LVS - http://www.linuxvirtualserver.org
www.seznam.cz
www.seznam.cz
Load balancing - popis
● L4-L7 switching
● kontrola živých služeb
● full proxy, SSL offloading, HTTP caching
● rozkládání – round robin, least connections
www.seznam.cz
Load balancing – více datacenter
● v každém DC jiné IP rozsahy
● funguje podobně jako DNS round robin
● kontrola živých služeb na DNS serveru
www.seznam.cz
internet
DNS server
DC1 DC2
DNS
;DC1
seznam.cz A 77.75.72.3
;DC2
seznam.cz A 77.75.76.3
Obsah
● Seznam a jeho síť
● Hardware
● Škálovatelnost a propustnost
● Zajištění vysoké dostupnosti
● Load balancing
● Návrh architektury sítě
www.seznam.cz
Obecný návrh architektury sítě
● přístupová vrstva
konektivita pro servery, STP
● agregační vrstva
řešení přístupu, HA, load balancing, VRRP
● páteřní vrstva
škálovatelnost, HA, rychlá konvergence, propustnost
www.seznam.cz
Návrh přístupové vrstvy
● rozdělení sítě do VLAN
● link aggregation propoje
● redundantní cesty
www.seznam.cz
internet
Návrh agregační vrstvy
● VRRP
● L2, Rapid-PVST+
● load balancing, firewall,
SSL
www.seznam.cz
internet
Návrh páteřní vrstvy
● ne vždy je potřeba
● 10 GigE
● vše na L3
● směrování přes OSPF
www.seznam.cz
internet
Dotazy?
pavel.danihelka@firma.seznam.cz
www.seznam.cz
Odkazy
● Seznam blog
seznam.sblog.cz
● Vývojáři
vyvojari.seznam.cz
www.seznam.cz