Budování sítě v datových centrech Ing. Pavel Danihelka Senior network administrator www.seznam.cz Obsah Seznam a jeho síť Hardware Škálovatelnost a propustnost Zajištění vysoké dostupnosti Load balancing Návrh architektury sítě www.seznam.cz Představení služeb Seznamu návštěvnost HP Seznamu přes 2M uživatelů denně (zdroj: Netmonitor) řada služeb v top 10 českého internetu široké portfolio služeb www.seznam.cz Síťová infrastruktura Seznamu www.seznam.cz síť v datacentru Nagano síť v datacentru TTC síť O2 síť Dial TelecomNIX Síťový provoz Seznamu 2x 10Gb do NIX, 2x 10Gb tranzit (Dial Telecom a O2) linka do NIX2 linka do NIX4 www.seznam.cz Požadavky na síť vysoká dostupnost zhruba 99.999% tj. výpadek max 30s za měsíc redundance síťových prvků a datových cest rychlá konvergence sítě řádově sekundy škálovatelnost neustálý růst, kolem 1000 serverů velká síťová propustnost odchozí provoz přes 5Gb/s www.seznam.cz Obsah Seznam a jeho síť Hardware Škálovatelnost a propustnost Zajištění vysoké dostupnosti Load balancing Návrh architektury sítě www.seznam.cz Hardware přepínače (switch) konvertory (transceiver) kabeláž směrovače (router) ukázka jednoduchého zapojení www.seznam.cz Přepínače (switch) L2 prvek, rack mount zapojení koncových serverů možnost stohování switchů management, SNMP, VLAN www.seznam.cz Konvertory (transceiver) GBIC, SFP - 1 GigE, metalické/optické X2, XENPAK, SFP+ - 10 GigE, optické www.seznam.cz Kabeláž metalická kabeláž kategorie 6 - 1000BASE-T optická kabeláž LC/SC konektory singlemode/multimode www.seznam.cz Směrovače (router) L3 prvek, redundantní zdroje, modulární design centrální bod sítě propoje ke switchům a k providerovi směrování paketů www.seznam.cz Ukázka jednoduchého zapojení www.seznam.cz ISP router switch servery Obsah Seznam a jeho síť Hardware Škálovatelnost a propustnost Zajištění vysoké dostupnosti Load balancing Návrh architektury sítě www.seznam.cz Škálovatelnost a propustnost 10 GigE po optice (IEEE 802.3ae) 1 GigE po optice (IEEE 802.3z) a metalice (IEEE 802.3ab) link aggregation (IEEE 802.3ad) dynamické směrování OSPF, IS-IS www.seznam.cz Link aggregation IEEE 802.3ad, Etherchannel (Cisco), Trunking (Sun), Bonding (Linux) L2 protokol, agregace až 8 linek rozvažování provozu na základě hashe dst-ip, dst-mac, dst-port, src-dst-ip, src-dst-mac www.seznam.cz OSPF (Open shortest path first) RFC 2740 dynamický směrovací protokol používá Dijkstrův algoritmus k výpočtu nejkratší cesty používá se pro směrování ve vnitřní síti konvergence kolem 1s www.seznam.cz OSPF - pokračování www.seznam.cz R1 R4 R2 R3 Obsah Seznam a jeho síť Hardware Škálovatelnost a propustnost Zajištění vysoké dostupnosti Load balancing Návrh architektury sítě www.seznam.cz Zajištění vysoké dostupnosti (High availability) VRRP STP (spanning tree protocol) www.seznam.cz VRRP VRRP (Virtual router redundancy protocol) RFC 3768 IP adresa "sdílená" mezi více boxy komunikace přes multicast, priority konvergence cca 3s www.seznam.cz STP (Spanning tree protocol) L2 protokol, BPDU rámce každé 2s Rapid-PVST+ (802.1w) stromová topologie, redundance datových cest root bridge, path cost strom nejkratších cest konvergence kolem 1s www.seznam.cz S1 S2 S3 Obsah Seznam a jeho síť Hardware Škálovatelnost a propustnost Zajištění vysoké dostupnosti Load balancing Návrh architektury sítě www.seznam.cz Load balancing motivace ­ rozkládání provozu na více fyzických serverů DNS round robin - výhody - jednoduché řešení - nevýhody - spotřeba IP adres, řešení výpadků strojů www.seznam.cz Load balancery samostatné HW řešení Cisco, Citrix, F5, Juniper, Nortel integrované HW řešení Cisco ACE modul, CSM modul softwarové řešení LVS - http://www.linuxvirtualserver.org www.seznam.cz www.seznam.cz Load balancing - popis L4-L7 switching kontrola živých služeb full proxy, SSL offloading, HTTP caching rozkládání ­ round robin, least connections www.seznam.cz Load balancing ­ více datacenter v každém DC jiné IP rozsahy funguje podobně jako DNS round robin kontrola živých služeb na DNS serveru www.seznam.cz DC1 DC2 DNS server internet DNS ;DC1 seznam.cz A 77.75.72.3 ;DC2 seznam.cz A 77.75.76.3 Obsah Seznam a jeho síť Hardware Škálovatelnost a propustnost Zajištění vysoké dostupnosti Load balancing Návrh architektury sítě www.seznam.cz Obecný návrh architektury sítě přístupová vrstva konektivita pro servery, STP agregační vrstva řešení přístupu, HA, load balancing, VRRP páteřní vrstva škálovatelnost, HA, rychlá konvergence, propustnost www.seznam.cz Návrh přístupové vrstvy rozdělení sítě do VLAN link aggregation propoje redundantní cesty www.seznam.cz internet Návrh agregační vrstvy VRRP L2, Rapid-PVST+ load balancing, firewall, SSL www.seznam.cz internet Návrh páteřní vrstvy ne vždy je potřeba 10 GigE vše na L3 směrování přes OSPF www.seznam.cz internet Dotazy? pavel.danihelka@firma.seznam.cz www.seznam.cz Odkazy Seznam blog seznam.sblog.cz Vývojáři vyvojari.seznam.cz www.seznam.cz