Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Využití monitorování toků v síťové bezpečnosti PV177 Laboratoř pokročilých síťových technologií Mgr. Jan Vykopal 17.3.2010 Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Pasivní vs. aktivní monitoring sítě Pasivní monitoring: • Do sítě nijak aktivně nezasahujeme. • Pasivně odposloucháváme síťový provoz, sledujeme statistiky skutečného provozu. • Příklad: SNMP, NetFIow aj. Aktivní monitoring: • Do sítě posíláme testovací pakety a sledujeme reakci sítě. • Příklad: ping, traceroute. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Sběr a analýza paketů • Tradiční IDS (např. Snort) provádí analýzu obsahu paketů. • Už v gigabitových sítích není možné provádět tuto operaci v reálném čase bez podpory specializovaného hardware. • Off-line analýza není možná: vysoké nároky na úložiště (velké objemy rychle přibývajících dat), neaktuálnost výsledku. • Proto se zavádí určitý kompromis: sběr a následná analýza statistických informací o síťovém provozu. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Síťové toky - definice Definice z RFC 3954: A flow is defined as a unidirectional sequence of packets with some common properties that pass through a network device. These collected flows are exported to an external device, the NetFlow collector. Network flows are highly granular; for example, flow records include details such as IP addresses, packet and byte counts, timestamps, Type of Service (ToS), application ports, input and output interfaces, etc. • Toky poskytují informace o tom kdo, s kým a jak dlouho komunikoval, kolik přenesl dat a jaký protokol použil. • Umožňují dlouhodobě sledovat síťový provoz v reálném čase. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Síťové toky - pokračování HTTP požadavek od 172.16.96.48:15094 pro 209.85.135.147:80 chci na www.google.cz zdrojová a cílová IP adresa zdrojový a cílový port číslo protokolu doba trvání počet paketů suma bajtů TCP příznaky, ... HTTP odpověď od 209.85.135.147:80 pro 172.16.96.48:15094 WWW server Flow start Duration Proto Src IP Addr:Port 09:41:21.763 0.101 TCP 172.16.96.48:15094 09:41:21.893 0.031 TCP 209.85.135,147:80 Dst IP Addr:Port Flags Packets Bytes 209.85.135.147:60 .AP.SF 4 715 172.16.96.48:15094 .AP.SF 4 1 5ß-1 Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Síťové toky a agregace • Toky představují střední úroveň agregace, na vysokorychlostních linkách ale i tak generují velký objem dat. • Příklad: pětiminutový vzorek dat z mezinárodní 10GE linky do GÉANT2: • 578944 960 bajtů • 6 163 012 paketů • 152 010 toků 45284 různých párů IP adres • Počet toků závisí na parametrech sběru toků: • inactive timeout- ukončení toku • active timeout -průběžná data (vhodné pro dlouhotrvající toky) Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Dostupná řešení pro monitorování toků Směrovače - CISCO, Juniper, Enterasys,... • Zaneprázdněny směrováním, monitorování toků jako doplněk. • Monitorování toků není implementované ve všech modelech. • Fixní umístění, možný cíl útoků. • Často nezbytné vzorkování, omezené pokročilé technologie. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Dostupná řešení pro monitorování toků - pokračování SW NetFIow Sondy - nProbe, fprobe, softflowd, ... • Založeno na běžném HW - PC a běžných síťových kartách. • Limitovaný výkon (PCAP, PCI-X) a problémy stability. • Vyžaduje expertní úpravy a nastavení měřícího systému. • Zaplňují mezeru kde potřebujeme monitorovat a není čím. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Hardwarově akcelerované sondy FlowMon • Sběr statistických informací o tocích je taktéž náročný na použitý hardware => vznik specializovaných HW sond. • Základní výzkum proběhl v rámci aktivity Programovatelný hardware sdružení CESNET ve spolupráci s VUT a MU. • Projekt EU FP6 GEANT2 => vznik GN2 Security Toolset, který tvoří sonda FlowMon a kolektor NfSen. • Technologický transfer do společnosti INVEA-TECH a.s. • Dnes probíhá vývoj sondy Flexible FlowMon - rozšíření klasické pětice tvořící klíč toku o další, uživatelem definované položky. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Architektura systému sonda FlowMon NetFIow kolektor detekce htt> | WWW SPAMu / mail detekce červů/virů detekce bezpeč. incidentů OTRS mailbox vytváření NetFIow dat sběr NetFIow dat analýza NetFIow dat reportování incidentů Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Shrnutí • Pro bezpečnostní aplikace je výhodné trvalé pasivní monitorování. • Nasazení SNMP či sběr Syslogu vyžaduje konfigurovat dotčené prvky. • Analýza síťového provozu je pro uživatele transparentní. • Prohledávání obsahu paketů je ve vysokorychlostních sítích nemožné. • Používá se monitorování síťových toků (typicky na síťové až transportní vrstvě), které poskytuje kýženou agregaci a přitom zachovává informační hodnotu (narozdíl od SNMP). Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Zjemnění statistik SNMP • Lze získat statistiky o počtu přenesených toků, paketů a bajtů - sumární, pro určité podsítě či dokonce jednotlivé stroje. • Původní využití NetFIow bylo právě pro účtování (accounting). • Tyto statistiky lze ale použít i u „objemově výrazných" anomálií (např. detekce botnetu Chuck Norris). • Stejně jako v ostatních aplikacích je klíčové umístění sondy v infrastruktuře. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Kontrola reverzních DNS záznamů • RFC 1912: Every Internet-reachable host should have a name. The consequences of this are becoming more and more obvious. Many services available on the Internet will not talk to you if you aren't correctly registered in the DNS. • Absence reverzního záznamu může ukazovat na zapomenutý a tedy i potenciálně nebezpečný stroj. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Kontrola reverzních DNS záznamů • Předpoklad: trvale monitorujeme síťový provoz.1 • Zjistíme, jaké stroje komunikovaly v daném časovém okno. • Vhodně využijeme agregaci. • Máme seznam komunikujících strojů. • Zavoláme překlad IP na jméno (např. host). • Jsme hotovi? Všechno funguje bezvadně? • Výsledky může ovlivnit firewall v cestě. • Zajímá nás provoz reálných strojů, ne reakce firwallu na skenování. Jedním z možných řešení je omezení na TCP a filtr na TCP SYN pakety. 10pět je klíčové kde. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Detekce spamerů • Poštu smějí odesílat jen vybrané relaye v síti. • Firewall na hranici sítě blokuje veškerý provoz nepovolených relayí. • Nakažený stroj je obvykle použit i pro šíření nevyžádané pošty. • V popsané konfiguraci spam neprojde za hranici sítě ... • ... ale také nemáme šanci zjistit špatnou konfiguraci firewallu. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Detekce spameru - výhodné využití dvou zdrojů dat • Jedna sonda bude ve vnitřní síti, před hraničním firewallem. • Druhá („nepovinná") za firewallem. • Detekce spočívá v „odečtení" provozu na konkrétním portu (TCP/25) uvnitř sítě od provozu za firewallem. • Výsledkem rozdílu jsou neúspěšní spameři (ideálně prázdná množina :-)). • Při detekci spammerů z vnějšku a otevřených relayí uvnitř nutno odlišit skutečné odeslání pošty od odmítnutí typu „já poštu neposílám, běž na a.b.c.d". Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Detekce TCP SYN skenů • Obecně nás zajímají spíše stroje v naší síti, pod naší správou (ty lze nějak „usměrnit"). • Skenování portů je typickým projevem šíření červů, často je velmi agresivní (mnoho pokusů za krátký čas). • Velmi jednoduchou a obecnou(!) metodou je sledování TCP provozu, konkrétně TCP SYN toků. • Pokud stroj překročí v daném časovém okně nastavený počet pokusů, je označen za skenera. • Pozor ale na falešné poplachy způsobené např. navázáním spojení s již vypnutých strojem. • I když jde o jednoduchou medotu, v praxi je velmi účinná se zanedbatelným počtem falešných poplachů. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Shrnutí • Agregace provozu v podobě síťových toků je dobrým stavebním kamenem jednoduchých metod. • Metody zpracovávající záznamy o tocích jsou v porovnání s inspekcí paketů velmi rychlé. • I jednoduché metody (např. detekce TCP SYN skenů) jsou v praxi velmi užitečné. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Grafy • Vizualizace je pro člověka stravitelnější než textové výpisy ve formě co tok, to řádek. • 2D grafy - přirozená metoda vizualizace. • Na osu x nanášíme většinou čas a na osu y sledovanou veličinu. • Vhodně vybrané veličiny a podsítě mohou pomoci s odhalením anomálie pouhým okem. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Využití stereoskopického vnímání • „Převádí" vzory provozu na grafické vzory a útvary. • The Spinning Cube of Potential Doom • osa x: lokální adresový prostor, • osa z: globální adresový prostor, • osa y: čísla cílových portů. • Úspěšná TCP spojení bíle, neúspěšná v barvě duhy. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Skenování portů v kostce ";RC 25 S.lbS.2 55. ř ap —^ ------X -., *. — " *■ " i? - • :.- 1SJ.1 ■ ~a li- i.—i ••'I • • • '*•} , ■ - .-.••■ ----------7 IST 3255255 Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Stroje a toky jako orientovaný graf • Vrcholy grafu tvoří stroje (IP adresy). • Hrany zobrazují jednotlivé toky nebo jejich agregace. • Velikost, zabarvení.. .vrcholu/hrany odráží nějakou jeho/její charekteristiku (např. počet přenesených bajtů). • Pohled na to, kdo kolik čeho kam přenášel. Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Orientovaný graf zobrazující síťový provoz 9S?9H.5H?I14 194.108.130.87 If520062.crawl.yahoo.net 217.119.115.145 213.151.78.226 ARennes-256-l-130-19.w90-32 koleje-ZC^ai^Bft^ggp^ČQj^áP1 Vizualizace Holt-Wintersova metoda Využití entropie Holt-Wintersova metoda: úvod • V literatuře také jako triple exponential smoothing. • Po mnoho let se používá pro předpovědi vývoje časové řady.2 Poprvé navržena v roce 1957 Holtem, v roce 1965 vylepšena Wintersem. • Metoda stojí na předpokladu, že časová řada může být rozložena na tři komponenty: základnu, lineární trend a sezónní trend. • Metoda předpokládá, vývoj těchto komponent v čase a postupně upravuje jejich hodnoty podle historie. 2Posloupnost pozorování jedné nebo více náhodných veličin uspořádaná v čase. Předpokládáme ekvidistantní časový interval. Vizualizace Holt-Wintersova metoda Využití entropie Holt-Wintersova metoda a síťový provoz Metoda je vhodná i pro síťový provoz a toky. Časové řady mnohých služeb totiž vykazují toto chování (příklad): • Trend: postupné zvyšování požadavků na nějakou službu v čase. • Sezónnost: nejvíce požadavků se objevuje dopoledne, odpoledne méně a v noci obvykle minimum. • Sezónní proměnlivost: ve špičce je zaznamenána velká fluktuace počtu požadavků, kdežto v noci ne. • Postupný vývoj všech předcházejících složek v čase: vliv letního času na počty požadavků v průběhu dne. Vizualizace Holt-Wintersova metoda Využití entropie Holt-Wintersova metoda a síťová bezpečnost • Cílem je automatizovat detekci anomálii okem (pohled na graf a následné nalezení špiček). • Předpověd použijeme pro predikci (očekávaného) vývoje řady. • Pokud se však aktuální hodnota (výrazně) liší od předpovídané, jde o anomálii; typicky i bezpečnostní. • Viz příklad na následující slídě: počet TCP toků po dobu několika dnů (ekvidistantní časový interval je 5 minut). • Pozor však na možnost „otrávení metody" ve fázi učení! Vizualizace Holt-Wintersova metoda Využití entropie Vizualizace předpovědi Holt-Wintersovou metodou Holt-Winters prediction q= (D Q. ^ P ,„ I 3 i-----------1-----------r 10 12 14 Day Vizualizace Holt-Wintersova metoda Využití entropie Shrnutí • Holt-Wintersova metoda (HW) se používá pro předpověď vývoje časové řady na základě historických dat a trendů. • Statistiky o komunikaci strojů či používání síťových služeb lze chápat jako časovou řadu. • Tyto řady vykazují jistý trend a sezonnost, která se navíc mění v čase. Proto lze použít HW. Vizualizace Holt-Wintersova metoda Využití entropie Motivace Je vše v pořádku? Zkuste zde najít nějaký útok: i i a dalších 614 264 řádků. Vizualizace Holt-Wintersova metoda Využití entropie A teď? 3Q k o u Sun Jan 10 12:HH:BB 2B1 ) Flows/5 any protocol 1 í ° °- ^ ID lil "e [^ Sun li:Q0 Hon QQ 00 Hon 12 00 Tue 00 00 Vizualizace Holt-Wintersova metoda Využití entropie Někdy to ale není tak snadné: Wed Feb 3 15:00:00 2010 FLows/5 any protocol Tue 16:00 Tue 20:00 Wed 00:00 Wed 04:00 Wed 03:00 Wed 32:00 Vizualizace Holt-Wintersova metoda Využití entropie Entropie Půjdeme na to vědecky... • Nechť X = {rij, i = 1,...,N}, kde hodnota / nastává n-, krát v tomto vzorku. N je počet různých hodnot. • Entropie vzorku {sample entropy) je pak definována takto: N N "(x) = -£(f)|092(!),s = 5> • S je celkový počet pozorování. • Hodnota entropie leží v intervalu [0, log2N]. • Entropie je rovna nule, právě tehdy když jsou všechna pozorování stejná. • Entropie je log2N, právě když jsou četnosti různé, tj. m = n2 = ■ ■ ■ = nN Relativní entropie: h(X) = g = g) Vizualizace Holt-Wintersova metoda Využití entropie Příklad entropie S} ** Vizualizace Holt-Wintersova metoda Využití entropie Detekce červů a anomálií pomocí entropie • Real-time analýza velkého množství dat není možná (tj. ve vysokorychlostních sítích). • Často ani nevíme, co detekovat. • Předpokládáme, že provoz generovaný červy (typicky skenování) je odlišnýod normálního provozu. • Jak na to? A nepočítat přitom „ošklivé" vzorečky? • Využijeme známé kompresní algoritmy, proč? • Zkomprimujeme sekvenci. Velikost tohoto objektu je úměrná entropii původní sekvence! • I když nejde o přesný výpočet entropie (ale spíše odhad), dostačuje to. Implementaci metody jako plugin do kolektoru NfSen nabízím jako BP/DP Vizualizace Holt-Wintersova metoda Využití entropie Šíření červa Blaster Date and Time (UTC, 2003) Figure 1. Blaster - TCP address parameter compressibility Zdroj: Entropy Based Worm and Anomaly Detection in Fast IP Networks: http://www.tik.ee.ethz.ch/~ddosvax/publications/papers/wetice0 5_entropy.pdf Osnova Pakety a toky Průzkum sítě Detekce anomálií Vizualizace Holt-Wintersova metoda Využití entropie Šíření červa Witty Date and Time (UTC. 2004) Figure 2. Witty - UDP address parameter compressibility Zdroj: Entropy Based Worm and Anomaly Detection in Fast IP Networks: http://www.tik.ee.ethz.ch/~ddosvax/publications/papers/wetice0 5_entropy.pdf Vizualizace Holt-Wintersova metoda Využití entropie Závěr • Detekce průniků na úrovni sítě je transparentní pro uživatele a výhodné pro správce. • Když nemáme přístup ke koncovým sítím, je to zároveň jediná možnost. • Monitorování toků má široké uplatnění v síťové bezpečnosti (výborně škáluje). • Jednoduché metody detekce anomálií jsou často velmi účinné (Keep It Simple and Stupid).