Kritické myšlení a strukturované analytické metody BSS476 Analýza otevřených zdrojů Ondřej Rojčík Vaše analytická intuice má své hranice Využívejte nástroje, které vám je pomohou překonat Strukturované metody nezabírají čas, nýbrž jej šetří 31/10/2017 BSS476 2 Obsah ▪ Je zpravodajská analýza umění nebo věda? ▪ K čemu jsou dobré strukturované analytické techniky? ▪ Strukturované analytické metody pro ▪ Třídění dat ▪ Idea Generation ▪ Generování hypotéz a testování ▪ Techniky pro hodnocení příčiny a následku ▪ Challenge Analysis 31/10/2017 BSS476 3 Poznámky k výzkumnému záměru Hranice OSINT Taktické a operativní výstupy Předmět analýzy - bezpečnostní problém Zpravodajská analýza = odevzdání přes Odevzdávárnu na IS.muni.cz 31/10/2017 BSS476 4 Kritické myšlení a strukturované analytické metody Kritické myšlení v IA = aplikace procesů a hodnot vědeckého bádání na specifické prostředí zpravodajské analýzy Kriticky přemýšlející analytik se dle Heuera a Phersona zamýšlí nad tím: - Kdo je zákazník - Jaká je zpravodajská otázka - Kde mohu najít kvalitní informace - Jak mohu postavit své sdělení - Jak sdělení přitažlivě podat 31/10/2017 BSS476 5 Kritické myšlení a strukturované analytické metody Debata v oboru: Is Intelligence Analysis an Art or a Science? 31/10/2017 BSS476 6 Erik Kleinsmith: Is Intelligence Analysis and Art or a Science?, inhomeland.com Věda • Powered by technology • Structured, with rules • More deductive in nature • Quantitative over qualitative information • Driven by structured queries and logical reasoning • Made up of hard data sets • Geared for standardization and collaboration • Powered by imagination Umění • Intuitive • Free-flowing, unconstrained • Inductive over deductive • Qualitative over quantitative • Driven by holistic research and critical thinking • Made up of social/fuzzy problem sets • Geared for the individual analyst’s creative thinking 31/10/2017 BSS476 7 Kritické myšlení a strukturované analytické metody “It’s an art. That settles it. Quit talking about it.” Mark Lowenthal, bývalý Assistant Director of Central Intelligence for Analysis and Production, CIA  Tak především to není binární problém… 31/10/2017 BSS476 8 Proč potřebujeme strukturované analytické techniky? ▪ Abychom se vyhnuli chybám, které vedou z intuitivního (IA as an Art) přístupu k analýze ▪ Strukturované analytické techniky jsou využívány k zamyšlení se nad analytickými závěry, identifikování způsobu uvažování, překonání kognitivního zkreslení, stimulování kreativity a řízení nejistot Richards J. Heuer Randolph H. Pherson 31/10/2017 BSS476 9 Kognitivní zkreslení Kognitivní zkreslení = cognitive bias „Umělecký“ přístup je často zdrojem kognitivního zkreslení Anchoring začátek práce na nové analýze jsou závěry té předešlé na podobné téma nebo podobný způsob jak dojít k závěrům bráníme se novému nahlížení na problém Satisficing Analytik si vybere první hypotézu, která se mu zdá dostatečně dobrá nebo se jeví jako nejpravděpodobnější Data jsou sbírána podle toho, zda tuto hypotézu podporují 31/10/2017 BSS476 10 Kognitivní zkreslení Premature Closure Analytik si udělá závěr hned na začátku procesu a pak svůj postoj zatvrzele obhajuje – vybírá si pak důkazy pro svůj závěr a odmítá/přehlíží ty, které mu odporují Confirmation Bias Tendence hledat, interpretovat, dávat přednost a vybavovat si informace, které potvrzují naše již existující představy a hypotézy 31/10/2017 BSS476 11 Jak začít s analýzou komplexního tématu? ▪ Rozbít na menší koherentní komponenty ▪ Seznamy nebo myšlenkové mapy pro klíčové sektory a kategorie ▪ Identifikace klíčových aktérů Organizace a jedinci a jejich aktivity: cíle, kapacity, zájmy, konflikty ▪ Identifikace hlavních faktorů Síly/faktory důležité pro pochopení situace 31/10/2017 BSS476 12 Třídění dat ▪ Getting Started Checklist ▪ AIMS ▪ Chronologie a časové osy ▪ Matice ▪ Síťová analýza ▪ Mind Mapping 31/10/2017 BSS476 13 Getting Started Checklist Úsilí, ale ušetří Vám čas ▪ Jaká je hlavní zpravodajská otázka? ▪ Proč je to důležité? ▪ Už se tím někdo zabýval? ▪ Kdo je hlavní zákazník? ▪ Jaké je hlavní vysvětlení? Jaké jsou alternativy? ▪ Jaké zdroje informací jsou relevantní? ▪ Kde jsou zdroje expertízy? ▪ Jakou zvolit metodologii dalšího zpracování? Poznáváte v tom něco? 31/10/2017 BSS476 14 AIMS ▪ Audience ▪ Intelligence Question ▪ Message ▪ Storyline (Jak message prezentovat) 31/10/2017 BSS476 15 Chronologie a časové osy ▪ Roztřídění událostí ▪ Identifikace klíčových událostí a informačních mezer ▪ Mohou ukázat na korelace Mohou ale také vést k nesprávným závěrům o kauzalitě jednotlivých událostí 31/10/2017 BSS476 16 Matice Využívány k analýze vztahů mezi dvěma sety proměnných Nebo vnitřní vztahy jedné sady Umožní: ▪ Srovnání jednoho typu informací s druhým ▪ Srovnání informací stejného druhu ▪ Kategorizovat informace ▪ Identifikovat vzory informací ▪ Oddělit části problému 31/10/2017 BSS476 17 Matice 31/10/2017 BSS476 18 Síťová analýza Types of Centrality Degree centrality: počet spojení uzlu Betweenness centrality: nejpravděpodobněji v cestě komunikace Closeness centrality: rychlost dosahu na všechny ostatní 31/10/2017 BSS476 19 Mind mapping Intelligence pentagram ▪ Lidé ▪ Místa ▪ Organizace ▪ Události ▪ Taktiky, techniky a procedury Free nástroje ▪ MindMapple ▪ Xmind ▪ Text2Mindmap ▪ Coggle ▪ FreeMind 31/10/2017 BSS476 20 Idea Generation ▪ Structured Brainstorming ▪ Nominal Group Technique 31/10/2017 BSS476 21 Structured Brainstorming Na začátku projektu k identifikaci proměnných, hypotéz, klíčových subjektů, zdrojů informací atd. Cíle by měly být známy předem, aby účastníci mohli přijít připraveni Nikdy nekritizujte jakýkoliv nápad Snažte se, aby se každý dostal ke slovu Tichý brstm: účastníci píšou nápady Zapisujte nápady / pište shrnutí 31/10/2017 BSS476 22 Structured Brainstorming Postup ▪ Řešte vždy jen jeden problém/otázku ▪ Všichni si zapíšou odpovědi a předají je řídící osobě ▪ Jednotlivé nápady se pak diskutují a seskupují ▪ O jejich hierarchii je možné hlasovat ▪ Stejný postup v dalších kolech 31/10/2017 BSS476 23 Nominal Group Technique Použijte při obavě, že se někdo nedostane ke slovu (přítomní průbojní jedinci nebo šéfové) Nápady si každý sepíše a pak je v jednotlivých kolech postupně předčítá Pokračuje se, dokud se nápady nevyčerpají Pak se o nich diskutuje Hlasování o jednotlivých nápadech: každý boduje od nejlepší po nejhorší 31/10/2017 BSS476 24 Generování hypotéz Využitelné techniky: Structured Brainstorming a Nominal Group Technique Předmětem nové hypotézy Založeny na: ▪ Logice situace ▪ Historických analogiích ▪ Teorii Multiple Hypothesi Generator permutace otázek: 3x kdo? – 3x proč? – 3x co? = 27 možností 31/10/2017 BSS476 25 Více dat ≠ lepší analýza Více dat nemusí znamenat lepší analýzu. Analytik potřebuje pomoci s hodnocením a interpretací dat, ne se ziskem nových Experiment se sázkami na koně Zpravodajská selhání jsou většinou důsledkem selhání analýzy nikoliv sběru informací (Heuer: 66) Relevantní informace nejsou brány v úvahu, jsou špatně interpretovány, ignorovány, odmítnuty nebo přehlídnuty, protože nezapadají do převládajícího způsobu uvažování (Heuer: 66) 31/10/2017 BSS476 26 Analysis of Competing Hypothesis (ACH) ▪ Systematický přístup k ověření alternativních vysvětlení ▪ V případě nejistoty nebo proudu velkého množství dat ▪ Logický proces pro hledání podpory vašich argumentů nebo jejich odmítnutí ▪ Ideální v týmu, ale může jej využít i jeden analytik 31/10/2017 BSS476 27 Analysis of Competing Hypothesis (ACH) Postup ▪ Zvažujete vzájemně se vylučující hypotézy (pokud je jedna pravdivá, ostatní jsou neplatné) ▪ Jedna z nich zaměřená na klamání (deception) ▪ Seznam signifikantních informací pro hypotézy: fakta, důkazy, předpoklady ▪ Vytvořte matici s hypotézami nahoře a relevantní informacemi po straně 31/10/2017 BSS476 28 Analysis of Competing Hypothesis (ACH) Postup Zvažujte u každé informace, zda je: - Konzistentní s hypotézou (+ / ++) - Nekonzistentní (- / --) - Not Applicable nebo irelevantní (NA) Příslušné znaménko doplňte do matice Pokud máte pocit, že je třeba říct „záleží na tom, zda…“ zapište to = předpoklad Hypotéza platí, dokud ji nevyvrátíte (Karl Popper) Nejlépe obhajitelná je hypotéza s nejmenší „nekonzistentností“ (tj. nejméně – a – –) 31/10/2017 BSS476 29 Occamova břitva William z Ockhamu (1287–1347) It is vain to do with more what can be done with fewer ▪Jednodušší vysvětlení je obvykle lepší ▪Vysvětlete své pozorování co nejmenším počtem hypotéz ▪Čím více předpokladů, tím méně pravděpodobné je vysvětlení ▪U konkurujících hypotéz je pravděpodobnější ta, která má méně předpokladů 31/10/2017 BSS476 30 Techniky pro hodnocení příčiny a následku ▪ Key Assumtion Check 31/10/2017 BSS476 31 Key Assumption Check ▪ Informační mezery > Analytické závěry založeny na kombinaci faktů a předpokladů ▪ Předpoklady by měly být explicitní (a zpochybňovány) Postup ▪ Sepište si předpoklady o kterých víte ▪ Rozpracujete analytickou linku zpět k argumentům, které ji podporují Kdo? Víme kdo jsou klíčoví hráči? Co? Víme co jsou jejich cíle? Kdy? Víme, že se nezměnily podmínky? Kde? Víme kde se dějí závažné události? Proč? Víme jaké jsou motivy hlavních aktérů? Jak? Víme jaké jsou prostředky, které využijí? 31/10/2017 BSS476 32 Key Assumption Check Postup ▪ Projděte si jednotlivé předpoklady a ujistěte se o validitě předpokladů ▪ Ptejte se na podmínky, za nichž nejsou pravdivé ▪ A dopad na vaši analýzu, pokud by byly nepravdivé Rozdělte na: bezproblémové; správné s dodatky; neplatné a pochybné Jistota analýzy závisí na nejslabší části vašeho zdůvodnění Hlavní nejistoty = úkolování pro sběrová pracoviště 31/10/2017 BSS476 33 Strategické předpoklady vs. Taktické indikátory Příklady strategických předpokladů ▪Předpoklad, že Japonsko se v roce 1941 snažilo vyhnout válce, protože uznávalo americkou vojenskou převahu ▪Předpoklad Izraelců v roce 1973, že arabské státy nezaútočí, dokud nezkonsolidují své letecké síly ▪Indický jaderný test z roku 1998, kdy se předpokládalo, že nová indická vláda se bude chtít vyhnout americkým ekonomickým sankcím Chybná rozhodnutí, přestože v těchto případech byly dostupné taktické indikátory, které říkaly opak 31/10/2017 BSS476 34 Strategické předpoklady vs. Taktické indikátory ▪Taktické indikátory podávaly jiný obrázek ▪Strategické předpoklady ale nikdo nezpochybňoval ▪Taktickým indikátorům by měla být dána větší váha ▪Minimálně by se mělo přistoupit k detailnější analýze, pokud si předpoklady a indikátory protiřečí ▪Jinak můžeme být překvapeni… 31/10/2017 BSS476 35 Challenge Analysis Zamyšlení se nad vlastními závěry: ▪ Premortem Analysis ▪ Structured Self-Critique 31/10/2017 BSS476 36 Premortem Analysis Snižuje analytické selhání tím, že identifikuje možné selhání před tím, než k němu dojde Situace: dozvíte se z křišťálové koule, že vaše analýza selhala a zamýšlíte nad tím proč Postup ▪ Před započetím psaní ▪ Sepsat si návrhy už před brainstormingem ▪ Nesoustředit se jen na hypotézy, předpoklady a klíčové důkazy ▪ Přidat: změny v prostředí, kulturní rozdíly ▪ Možno použít metodu Nominal Group ▪ Výsledek: ▪ identifikace indikátorů; na jejich základě můžete odhadnout, že se věci nevyvíjejí očekávaným směrem (Early Warning) ▪ může přimět k přeformulování analytických závěrů 31/10/2017 BSS476 37 Structured Self-Critique Malý tým se snaží nalézt slabiny analýzy Postup ▪ Před publikací výstupu ▪ Vžijte se do role kritika výstupu ▪ Zaměřte se na spolehlivost zdrojů, analytický proces, předpoklady, informační mezery, průkaznost důkazů, změny v prostředí, náznaky klamání ▪ Na základě získaných poznatků se zaměříte na míru důvěry, kterou máte ve výsledný analytický produkt a jeho možné úpravy 31/10/2017 BSS476 38 Není na to čas ▪ Používat tyto techniky zabírá čas, ale ještě více času zabírá opravovat chyby v důsledku špatné analýzy 31/10/2017 BSS476 39 Jeden projekt, mnoho technik V každém analytickém projektu potřebujete minimálně ▪ Roztřídit data ▪ Vygenerovat a ověřit nové myšlenky ▪ Identifikovat předpoklady ▪ Porovnat hypotézy ▪ Prověřit závěry 31/10/2017 BSS476 40 Děkuji za pozornost! o.rojcik@nukib.cz 31/10/2017 BSS476 41