Úvod do bezpečnostních predikcí/Způsoby predikce/Historie automatizovaných predikčních modelů BSSn4478 Predikční modely v bezpečnostní praxi, 11.3. 2021 Motto • •„Suchá data, růstové křivky a interakční mapy nejsou ztotožnitelné s voluntaristickými výlevy ideologizujících politiků.“ • • (Zeman, 1969) • • Vysvětlovat nebo předpovídat události jako jsou konflikty? (Chadefaux 2017) •Empiricky mnohem častější vysvětlování (příčiny a průběh událostí) •Významná role kauzálního mechanismu („korelace není kauzalita“) •Teoretizuje se o vztahu určitých proměnných (př. „Jak ovlivňuje velikost armádních rozpočtů/aliance/obchodní vztahy pravděpodobnost konfliktu?“), následně empiricky (statisticky) prověřuje na populaci či vzorku. • Problém s predikcemi •Čisté predikce spíše byly odmítány, protože role teorie je v nich spíše menší (známe budoucí výsledek, musíme dedukovat, „proč to tak dopadne“ nebo se spokojit s tím, že to nevíme, často neintutivní výsledky) •K predikci se využívalo spíše vysvětlení (tj. kauzálních vztahů z minulých událostí), často nefungovaly dobře mimo původní vzorek •Některá data (vysvětlující proměnné), která využívají explanační teorie, jsou pro predikce obtížně dostupná (např. charakterové vlastnosti budoucích státníků) •Uznávalo se ale, že mohou být dobrým testem explanatorních teorií, postupně se etablovalo jako dva propojené, ale v zásadě nezávislé způsoby vědeckého zkoumání. • „Ideální bezpečnostní predikce“ (Brandt et al. 2011) • •Přesná- zdánlivě jednoduchý požadavek, ve skutečnosti komplikovanější (pravděpodobnostní predikce, nejistota, intervalové nebo bodové predikce?) •V reálném čase- měla by fungovat prakticky bez zpoždění, jinak problém s praktickým využitím (např. deeskalací) •Měla by být zaměřená nejen na výsledek, ale i akce aktérů •Měla by vycházet z dat, ale i ze stávajících teoretických vědomostí o dané oblasti •Měla by být schopna analyzovat nejen události v reálném světě, ale i alternativní scénáře, které se nestaly. Způsoby predikce (Chadefaux 2017) • •Experti •Ekonometrie (kvantitativní) •Modelování •„Chytré davy“ Experti •Rozumí dílčím otázkám (country/areáloví specialisté) •Jejich schopnosti predikovat jen o málo lepší než náhoda nebo studenti (Tetlock 2005), kolísá v čase •Přesto ne zcela bezcenný zdroj informace (srovnávání mínění expertů se hodí pro algoritmizované postupy nebo davy). • • • • Důvody •Komplexita • •Zkreslení na straně výzkumníka (navyšuje relevanci, nabízí šokující závěry, aby získal zdroje a přitáhl pozornost ke zkoumané zemi) • •Málokdy se z predikcí zodpovídají Proč experti neumí předpovídat https://images-na.ssl-images-amazon.com/images/I/51FBIA4tZfL._SX332_BO1,204,203,200_.jpg Freedman: The Future of War • Výsledek obrázku pro the future of war Analyzuje, jak dobře jsme v minulosti byli schopni předvídat budoucnost vedení války. Závěr: velmi špatně Co jsme byli schopni předvídat nejlépe: technický pokrok Co nám dělalo největší problémy: společenské změny, politické a morální normy (tendence přeceňovat jejich neměnnost) Experti „studují moc historie a málo evoluční biologie“. Ekonometrie •Pracuje typicky s velkým množstvím dat •Regresní metody (najčastěji logistická regrese), učící se metody (náhodný les nebo neuronové sítě) •Klasické proměnné strukturní: typ režimu, etnické složení, HDP, přírodní podmínky •„Pomalé proměnné“- z hlediska konfliktu naznačí rizikové konfigurace, ale mají problém s otázkami „zda skutečně a kdy“. Novější zdroje dat/proměnné •Novinové články, Historické dokumenty (zpočátku manuálně kódované, poté automatizace) •Titulky, Zprávy •Problémy: sekundární data, jsou produkt lidské činnosti, algoritmy na analýzu složitých textů se teprv vylepšují •Z hlediska predikce lépe řeší časovou dimenzi •Sociální sítě- více „reportérů“ i událostí, ještě lépe řeší časovou dimenzi, problém se „smetím“ • Modelování •Obvykle přístupy využívají teorie her, mapují interakci •Kombinace dvou postupů: expertní vědění + model, simulující interkace mezi aktéry/proměnnými (např. vyjednávání, koaliční jednání), ústí v predikci ohledně výsledku •Velká výhoda: umožňuje kontrafaktuální analýzu, alternativní scénáře •„Empiricky“ úspěšné, ale i kritika (aktéři a jejich chování v modelech nereprezentují dobře reálné aktéry) Modelování: příklady • •„Očekávaný užitek“ (de Mesquita, preference aktérů, bude obsahem další přednášky) • •Political Instability Task Force (regresní modely, jak spolu věci/procesy souvisí) • „Davy“/Mnohočetné zdroje/Trhy •Základní přesvědčení: nejslibnější je kombinace přístupů, více predikcí různým způsobem, vážení jejich výsledků •Turnaje v předpovídání (nejlepší typ „rekurzivní výběr“) •Podobně užitečné finanční či politické trhy (Iowa electronic markets)- vysoká motivace participantů, pečlivě posuzují rizika konfliktů a pravděpodobnosti toho, že nastanou •Základní výhoda těchto přístupů: dobrá reprezentace nejistoty Superforecasting (Tetlock/Gardner 2015) •Navázán na Good Judgment Project (https://goodjudgment.com/) •Predikce davů, turnaje superpředpovídačů •Profil osobnostních rysů superpředpovídačů •Důraz na nejistotu předpovědí • • • good judgment.png V Česku: České priority Options • • •Forecastingové turnaje •Aktuální společenské otázky •Kopíruje metodologii Superprognóz Historie automatických bezpečnostních predikcí: „systémy včasného varování“ • •Pentagon: •80./90 léta: DARPA (Defense Advance Research Projects Agency, „výzkumná infrastruktura“, programy na zpracovávání informací, spolupráce s univerzitami) •2008: ICEWS (Integrated Conflict Early Warning System) • •CIA: Policon/Factions 80./90. léta (de Mesquita, Fedder)- předchůdci Predictioneers Game • •všechny systémy porážely čistě lidskou analytiku • • • Policon/Senturion •Vyvíjel BBdM pro CIA, dnes jako Senturion používá Pentagon •Uplatnitelný v lokálních, národních i mezinárodních kontextech •Založen na užitku aktérů •Řada úspěšných predikcí (např. po druhé válce v Zálivu) •Typicky odpovídal na konkrétní otázky: „Jaká bude budoucí politika Egypta vůči Izraeli?“ nebo „Jaká bude budoucnost amerických základen na Filipínách?“ Národní obranná strategie USA (2005): podpora systémů včasného varování • •události je snazší ovlivnit v jejich iniciálních stádiích •napomáhá efektivnímu rozdělování zdrojů •kritéria excelence: přesnost, metoda, generalizovatelnost, podpora následného rozhodování, schopnost uspokojit různá publika • ICEWS: Integrated Conflict Early Warning System (2008) •Klíčem zkoumání stability: • •U kterých zemí lze krátkodobě, střednědobě, dlouhodobě očekávat pokles stability? •Jaké faktory přispívají k nestabilitě? •Jakými prostředky (vojenskými, diplomatickými, zpravodajskými, ekonomickými) lze nestabilitu nejlépe zvládat? Rozsah systému •Domácí politické krize •Povstání •Subverzivní činnost •Etnické/náboženské násilí •Mezinárodní krize • •Využívá zejména Pacifické velitelství •Databáze událostí: 6,5 milionu událostí z let 1998-2006 (prototyp, dnes více) • Jak pracuje ICEWS •Předpovědi ICEWS založeny na kombinaci více metod: • •Multiagentní modelování •Logistická regrese •Prostorové modely (aktéři, kvantita, interakce) •Pravděpodobnostní modely (bayesiánská statistika) • Klíčové parametry systému •Přesnost (accuracy- počet správných predikcí ze všech predikcí) •Schopnost vybavení si (recall- poměr správně předpovězených konfliktů ke všem reálným konfliktům) •Preciznost (precision- poměr správně predikovaných konfliktů ke všem predikovaným konfliktům) Retrospektivní testování ICEWS : O´ Brien 2010 • Nové příklady •Machine Learning and Conflict Prediction: A Use Case. Stability: International Journal of Security and Development. 2(3), p.Art. 56. DOI: http://doi.org/10.5334/sta.cr- umělé neuronové sítě • •Disertační práce Jakuba Drmoly • •GDELT (Georgetown University) • •Ward Lab (Duke University) GDELT (https://www.gdeltproject.org/, The Global Database of Events, Language and Tone) gdelt.png Ward Lab (https://predictiveheuristics.com/) ward.png Struktura automatizovaných predikcí • •„Datová část“ • • •„Predikční algoritmus“ Datová část • •Gdelt: události, klíčová slova •WardLab: makrocharakteristiky •Drmola: události, aktéři •Mesquita: aktéři Algoritmy •Kvantita (GDelt) • •Strukturní konfigurace (WardLab) • •Síťová dynamika, interakce (Drmola, Mesquita)