Nástroje pro agregaci
mediálních informací
a SOCMINT
BSS476 Analýza otevřených zdrojů
Ondřej Rojčík
24/10/2018 BSS476 1
K čemu vám to bude?
 Nástroje pro agregaci mediálních informací – horizontální OSINT
 Tj. nástroje pro průběžné sledování témat vašeho odborného zaměření
 SOCMINT = nahlédnutí do možností zaměřených OSINT šetření
 Pochopení rozdílu mezi horizontálním OSINTem a OSINTovým šetřením
24/10/2018 BSS476 2
Nástroje pro agregaci mediálních informací
 Koncentrujte Vaši pozornost do co nejmenšího počtu informačních
bran
 Používejte známé nástroje chytře
24/10/2018 BSS476 3
Obsah
 Rozšíření
 Google Search a Google Custom Search Engine
 Alternativní vyhledávače
 Google Alerts a Google Trends
 EMM
 Twitter Lists a Tweetdeck
 IFTTT
 Feedly/Inoreader
 RSS
24/10/2018 BSS476 4
Prohlížeče – podíl na trhu
Co o Vás Google ví? https://myactivity.google.com/myactivity
24/10/2018 BSS476 5
Chrome: rozšíření (extensions)
Pravý horní roh > další nástroje > rozšíření > (dole) získat
další rozšíření > vyhledat (název nebo typ) > přidat do
Chrome
Generické, ale…
 Google Translate
 AdBlock / Adblock Plus
 Uložit do služby Disk Google
 Fire Shot
24/10/2018 BSS476 6
Chrome: rozšíření (extensions)
 Video DownloadHelper
 One Tab
 IP Address and Domain Information
 EXIF Viewer
 Click&Clean
 Google Similar Pages
24/10/2018 BSS476 7
Firefox: doplňky (extensions)
Pravý horní roh > doplňky > rozšíření > vyhledat (název
nebo typ) > instalovat
Generické, ale…
 Google Translate
 AdBlock / Adblock Plus
 Nimbus Screen Capture
 Screengrab!
24/10/2018 BSS476 8
Firefox: doplňky (extensions)
 Video DownloadHelper
 One Tab
 IP Address and Domain Information
 Exify
24/10/2018 BSS476 9
Rozšíření Chrome
Pro další tipy:
https://digitalinspiration.com/google-chrome
Keep: Create notes, to-do lists, voice memos and photo notes with searchable
text
Readability: Send web pages to your Kindle for reading later in a clutter free
environment
Problém u starších/méně výkonných strojů…
24/10/2018 BSS476 10
Google Search - operátory
OR
Vyhledá jedno nebo druhé slovo
Mínus
funguje jako NOT operátor. Vyloučí z vyhledávání specifická slova
[liverpool –fc]
24/10/2018 BSS476 11
Google Search - operátory
site:
Zaměří vyhledávání na specifické stránky nebo domény
[syria crisis site:ec.europa.eu]
inurl:
Vyhledá termíny, které jsou součástí URL
[syria crisis inurl:syria]
intitle:
Zaměří vyhledávání na termíny v titulcích stránek - zřetelné zaměření na
určité téma
[climate change intitle:syria crisis]
24/10/2018 BSS476 12
Google Search - operátory
filetype:
Vyhledá specifické formáty, např. PDF, ppt, pptx, avi atd
[climate change intitle:syria crisis filetype:pdf]
Využití:
doc – se jménem a CV, můžete dohledat životopis
pdf – např. zpracované a publikované papery
24/10/2018 BSS476 13
Google Search – Knowledge Graphs
 Poland gdp growth
 Czech Republic life expectancy
24/10/2018 BSS476 14
Google Search – výpočty a jiné…
 from praha to bruntal / z prahy do bruntálu
 6 pounds to kg / 6 liber na kg
 50 euro to dollars / 50 eur na dolary
 5,78 * 234
 flip a coin
 roll a die
24/10/2018 BSS476 15
Google Custom Search Engine
(vlastní vyhledávání)
https://google.com/cse/
 Váš vlastní vyhledávač v oblastech, které vás zajímají
 Může roztřídit výsledky podle parametrů
Vytvoříme vyhledávače pro
 sociální média
 vyhledávání podle typu dokumentů
24/10/2018 BSS476 16
Google Custom Search Engine
Prohledávání sociálních médií
 Jdi na nový vyhledávač
 Název: SocialMedia
 Do prohledávané weby postupně vypiš
www.facebook.com/*
www.twitter.com/*
www.instagram.com/*
www.linkedIn.com/*
www.youtube.com/*
www.plus.google.com/*
www.tumblr.com/*
24/10/2018 BSS476 17
Google Custom Search Engine
Jdi na vytvořit
Výsledky z jednotlivých sítí izolujeme
 Jdi na upravit vyhledávač > nastavení > prohledávané weby
> štítek > manage labels > přidat
 Vybrat: Zahrnout pouze tuto konkrétní stránku + zadat název
sociální sítě
 Zpět na nastavení
 Zakliknout příslušnou síť (url) > štítek > vybrat síť > apply
 U všech…
24/10/2018 BSS476 18
Google Custom Search Engine
 V podrobnostech > veřejná adresa > otevřít a uložit jako
bookmark
24/10/2018 BSS476 19
Google Custom Search Engine
Vyhledávání podle typu dokumentu
 Jdi na nový vyhledávač
 Název: Dokumenty
 Do prohledávané weby vepiš Google.com
> Vytvořit
> Upravit vyhledávač > Nastavení > Prohledávané weby:
prohledávat celý internet… >
Smazat google.com z prohledávaných webů
24/10/2018 BSS476 20
Google Custom Search Engine
Vyhledávání podle typu dokumentu
> Upravit vyhledávač > Vyhledávací funkce > Upřesnění
Nástroje pro práci s OZ: PDF + Prioritu mají weby… Upřesnění
faset > ext:pdf
DOC ext:doc OR ext:docx
XLS ext:xls OR ext:xlsx OR ext:csv
TXT ext:txt OR ext:rtf
WPD ext:wpd
ODT ext:odt OR ext:ods OR ext:odp
ZIP ext:zip OR ext:rar OR ext:7z
24/10/2018 BSS476 21
Google Custom Search Engine
(vlastní vyhledávání)
SocialMedia
https://cse.google.com/cse/publicurl?cx=0033989638042726
74124:ynglgbby3sy
Dokumenty
https://cse.google.com/cse/publicurl?cx=0033989638042726
74124:iy8w_i35-gu
24/10/2018 BSS476 22
Alternativní vyhledávače
Globální: Bing, Yahoo Regionální: Baidu, Yandex,
Naver, Seznam
http://myallsearch.com/
Prohledá všechny hlavní vyhledavače najednou
http://www.dogpile.com/
Výsledky z Google, Yandex and Yahoo pohromadě
24/10/2018 BSS476 23
Alternativní vyhledávače
https://millionshort.com/
Odfiltruje prvních 100, 1 000 nebo 1 000k výsledků
http://www.zapmeta.com/
Agregátor vyhledávačů
24/10/2018 BSS476 24
Alternativní vyhledávače
https://duckduckgo.com/
https://www.startpage.com/
Neuchovávají uživatelská data, neupravují výsledky na
základě předchozích vyhledávání
24/10/2018 BSS476 25
Alternativní vyhledávače
https://carrot2.org
Klastruje výsledky do tematických kategorií
24/10/2018 BSS476 26
Alternativní vyhledávače
https://www.wolframalpha.com/
 Výpočty, fakta, odpovědi
24/10/2018 BSS476 27
Google Alerts a Trends
 Alerts: www.google.com/alerts
 Trends: www.google.com/trends
24/10/2018 BSS476 28
Google Alerts
Alerts: www.google.com/alerts
 Na email nebo RSS
24/10/2018 BSS476 29
Alternativa k Google Alerts
Talk Walker Alerts
https://www.talkwalker.com/alerts
 Není třeba se registrovat a mít účet
30
24/10/2018 BSS476 30
Google Trends
Možné využití:
Monitoring klíčového slova v čase
Porovnání dvou a více klíčových slov v čase
Porovnání zájmu o klíčové slovo ve světových regionech
Identifikace dalších souvisejících klíčových slov
31
24/10/2018 BSS476 31
Google Trends
32
https://trends.google.com/trends/?geo=CZ
25/10/2018 BSS476 32
Google News
33
https://news.google.com + app pro Android
24/10/2018 BSS476 33
Europe Media Monitor (EMM)
http://emm.newsbrief.eu/
Nástroj pro agregaci zpráv a jejich analýzu
24/10/2018 BSS476 34
Twitter
Seznamy/Lists
 Zpřehlednění feedu
 Levá nebo pravá profilová fotka > Lists > Create
new list
24/10/2018 BSS476 35
TweetDeck
 Webová aplikace typu „kontrolní panel“ pro
twitterové účty
 Sledování vlastního účtu, vybraných hashtagů,
uživatelů, geolokací atd. < TO VŠE NAJEDNOU
 Vyhledávání
https://tweetdeck.twitter.com
(pouze desktop)
24/10/2018 BSS476 36
Hootsuite
 Pro správu několika sociálních sítí najednou
https://hootsuite.com/
24/10/2018 BSS476 37
Kontrolní panely
 Tweetdeck – Twitter
 Hootsuite – hlavní sociální média
 Netvibes – hlavní sociální média + email
24/10/2018 BSS476 38
IF This Then That (IFTTT)
24/10/2018 BSS476 39
https://ifttt.com
Příklady receptů
 Tweety s určitým hashtagem nebo od
určitého uživatele přidej do Google Tabulky
 Každou přílohu emailu ulož do Dropboxu
 Archivuj twitterové posty na blogu do
Evernote
Využití je omezeno pouze vaší fantazií…
24/10/2018 BSS476 40
Jak IFTTT funguje?
 “Applets” založené na jednoduchých
pravidlech
 Vychází z podmínkové věty:
if this then that
 this = spouštěč (trigger)
 that = akce
 Spouštěč + Akce = Applet
24/10/2018 BSS476 41
IFTTT
https://ifttt.com
If This Then That (IFTTT) je nástroj, který umožňuje
 Spojit dvě webové aplikace
 Automatizovat rutinní úkony na webu
 Automatizovat sběr dat
 Získat OSINT data pro analýzu
 Zasílat aletry na důležité události
24/10/2018 BSS476 42
Upozornění na tweety
@ nebo # nebo
1. Kliknout na “My Applets” v menu a pak na “New Applet”
2. Klikni na modré “this” pro vytvoření spouštěče
3. klikněte na ikonu Twitter
4. v nabídce klikněte na:
New tweet from search/New tweet by a specific user
5. Zadejte co chcete sledovat @ nebo # nebo
6. Email/SMS/Google Drive
24/10/2018 BSS476 43
Feedly
https://feedly.com
RSS is not Dead…
 Agregátor zpráv, RSS čtečka
 V prohlížeči nebo jako mobilní aplikace
 Synchronizace
 Správa RSS feedů podle témat
24/10/2018 BSS476 44
Inoreader
https://www.inoreader.com
 Alternativa k Feedly
 Agregátor zpráv, RSS čtečka
 V prohlížeči nebo jako mobilní aplikace
 Synchronizace
 Filtrování
 Propojení do sociálních sítí
24/10/2018 BSS476 45
Feed Filter Maker
Nástroj pro filtrování RSS a Atom feedů
http://feed.janicek.co
Pojmenujte feed
Vložte URL feedu, který chcete filtrovat
Vložte termíny, na které se feed zúží
…tím že musí nebo nesmí obsahovat určité slovo
Vygenerovanou URL vložte do Feedly nebo jiné čtečky
24/10/2018 BSS476 46
Chimp Feedr
http://www.chimpfeedr.com/
Nástroj pro agregování feedů, včetně filtrovaných
 Vložte feed a klikněte na “+Add Feed”
 Vygenerování feedu po kliknutí na “Chomp! Chomp!”
 Pojmenujte feed
 Klikněte na jméno feedu pro přidání do agregátoru (Feedly)
24/10/2018 BSS476 47
RSS Mix
http://www.rssmix.com
Nástroj pro agregování feedů
Umožňuje
 Přidání do čtečky
 Filtrování na základě klíčových slov a obsahu
 Sdílení
24/10/2018 BSS476 48
Five Filters
http://fivefilters.org/content-only
Umožňuje získání plného textu feedů
 Vykopírujte a vložte URL feedu do pole
 Další preference nastavíte kliknutím na “Show Options”
 Klikněte na “Create Feed”
 Klikněte na “Subscribe to this feed” k přidání do agregátoru
24/10/2018 BSS476 49
Five Filters
http://createfeed.fivefilters.org
Nástroj k monitoringu stránek bez RSS
 Dokáže získat obsah z HTML
24/10/2018 BSS476 50
SOCMINT
BSS476 Analýza otevřených zdrojů
Ondřej Rojčík
24/10/2018 BSS 51
Obsah
Facebook
 Vyhledávání
 Extrakce dat
 Analytické nástroje
Twitter
 Vyhledávání: geolokace a čas
 Analytika
 Analytické nástroje
24/10/2018 BSS 52
Facebook
Nejrozšířenější sociální síť
 Více než 2.1 mld. aktivních uživatelů měsíčně (září 2017)
 Průměrně strávený čas na uživatele a den je 20 minut (2017)
 270 milionů falešných profilů…(2017)
 Denně nahráváno přes 300 milionů fotek (2014)
 Přes 5 bilionů sdílení denně (2016)
24/10/2018 BSS 53
Rychle se měnící podmínky
 Data přístupná jeden den, nemusí být přístupná další den
 Je třeba mít trpělivost
 A používat širokou škálu technik
24/10/2018 BSS 54
FB Profile ID
FB Profile ID
 View page source/Zdrojový kód stránky
 Ctrl+F profileid=
24/10/2018 BSS 55
Vyhledávání manipulací URL
Za pomocí FB User Number
 https://www.facebook.com/search/100001269187894/places-visited
 https://www.facebook.com/search/100001269187894/recent-places-visited
 https://www.facebook.com/search/100001269187894/photos-of
 https://www.facebook.com/search/100001269187894/photos-liked
 https://www.facebook.com/search/100001269187894/photos-by
 https://www.facebook.com/search/100001269187894/videos
 https://www.facebook.com/search/100001269187894/videos-of
 https://www.facebook.com/search/100001269187894/events-joined
 https://www.facebook.com/search/100001269187894/relatives
24/10/2018 BSS 56
People Find Thor
 Vytvoří dotaz za vás
 Několik kritérií současně
URL: www.peoplefindthor.dk
[https://www.facebook.com/search/str/ostrava/places-
named/visitors/str/brno/pages-named/residents/ever/females/str/ibm/pages-
named/employees/ever/intersect]
24/10/2018 BSS 57
Search is Back
 Vyhledávání lidí, událostí, postů a
fotografií
 Několik kritérií najednou
URL: https://searchisback.com
24/10/2018 BSS 58
Facebook Live Stream Search
 Vyhledávač zaměřený na FB live streamy
 Výsledky mohou být nekonzistentní
URL: http://netbootcamp.org/facebooklive.html
24/10/2018 BSS 59
Extrakce dat
Data Miner
 rozšíření v Chrome
 např. seznam přátel – sjeďte na konec seznamu
Navíc Save to Google Drive a Screengrab!
24/10/2018 BSS 60
Graph search tools
Use the following tools to gather intelligence on your targets
Graph.tips: http://graph.tips
Lookup-ID: https://lookup-id.com/facebooksearch.html
Stalkscan: https://stalkscan.com
Intel Techniques: http://inteltechniques.com/osint/facebook.html
24/10/2018 BSS 61
Facebook
62
Michael Bazzell
 Komplexní nástroje pro OSINT šetření
 https://inteltechniques.com/menu.html
 Alt: https://netbootcamp.org/osinttools/
25/10/2018 BSS 62
Stáhnutí členů FB skupiny
 Na stránce FB Skupiny přes pravý klik “Zobrazit zdrojový kód stránky”
 Přes Ctrl + F (nebo Command + F na Mac) hledejte “fb://group” pro
identifikaci ID skupiny
 Na stránce www.fbookscraper.com vložte ID do vyhledávacího okna
 Stáhněte si seznam v CSV souboru
24/10/2018 BSS 63
Stáhnutí lajků u příspěvku
 Kopírujte URL postu, který chcete analyzovat
 Jděte na http://facebook-likes-scraper.tiny-tools.com
 Vložte do vyhledávacího okna
 Ve výsledcích bude fotka, FB ID, FB email
 Pouze prvních 1,000 lajků
nebo Data Miner
24/10/2018 BSS 64
Vyhledání a stažení FB skupin
 Vyhledání na základě klíčového slova
 Stažení a přístup po vložení emailu
 Pouze prvních 200 skupin
https://fscraper.com
24/10/2018 BSS 65
Dohledávání emailu a telefonního čísla
Vyhledávání profilů podle tel. čísla nebo emailové adresy
Log out > Forgotten account?
o https://www.facebook.com/login/identify?ctx=recover&lwv=110
24/10/2018 BSS 66
LikeAlyzer
 Data k oblíbenosti stránky
 Obdržené lajky
 Počet příspěvků denně
 Výkon vzhledem ke konkurenci
URL: http://likealyzer.com
24/10/2018 BSS 67
FanPageKarma
 Za použití jména nebo ID stránky
 Analýza vygeneruje statistiky k jedné nebo několika stránkám
najednou
 Nutné být zalogován na FB a FanPageKarma
URL: www.fanpagekarma.com
URL: www.fanpagekarma.com/vs
24/10/2018 BSS 68
Twitter - geolokace
 1 až 2 % tweetů má geolokaci…
 Vyhledávání: geocode:49.2079517,16.5819769,5km
24/10/2018 BSS 69
Twitter – časové rozpětí
Vyhledávání
 since:2017-01-01 until:2017-06-16 „govcert.cz“
 from:prezidentmluvci since:2017-01-01 until:2017-06-16
 to:prezidentmluvci since:2017-01-01 until:2017-06-16
24/10/2018 BSS 70
Analýza Twitteru
Twitonomy - https://www.twitonomy.com/
 Komplexní analýza dat o uživatelích
 Mapa sociální bubliny uživatele
 Pracovní návyky uživatele
 Competetive intell tool
71
24/10/2018 BSS 71
Analýza Twitteru
https://socialbearing.com
 Komplexní analýza dat o uživatelích
 Mapa sociální bubliny uživatele
 Pracovní návyky uživatele
 Competetive intell tool
 Kompletně zdarma
24/10/2018 BSS 72
Analýza Twitteru
 Hashtagify - http://hashtagify.me/ (mapy #)
 Foller.me - https://foller.me/
 Mentionmapp - http://mentionmapp.com/
 Followerwonk - https://moz.com/followerwonk/ (srovnání
sledovaných účtů)
24/10/2018 BSS 73
Geolokace na Twitteru
 One million tweet map - http://onemilliontweetmap.com/
 Trendsmap
 Geotracking uživatelů TW:
http://app.teachingprivacy.com/
http://www.tweetpaths.com/
http://geosocialfootprint.com/
 Mapa tweetů
https://www.mapd.com/demos/tweetmap/
24/10/2018 BSS 74
Děkuji za pozornost!
o.rojcik@nukib.cz
24/10/2018 BSS476 75