Z7894 Geoinformační technologie v sociální geografii
31. 10. 2023
Web scraping: teorie
Z7894 Geoinformační technologie v sociální geografii 2
• Získávání dat z webových stránek (ale i webových aplikací a jejich součástí)
a jejich ukládání do strojově zpracovatelné podoby (např. tabulky,
samostatná databáze apod.).
• Související pojmy: Extrakce dat a automatizace
• Sporná je otázka (i)legality web scrapingu –někdy jde o šedou zónu
• Možné usecases pro geografy:
 kopírování obsáhlých tabulek s listingem (např. data ČSÚ, ERU…),
 ukládání webových seznamů do tabulky (např. seznam chystaných akcí v Brně…),
 automatické načítání údajů (např. „excelovský sheet“ napojený aktuální teplotu),
 periodické ukládání určitého údaje (např. návštěvnost bazénu),
 …
Web scraping
Z7894 Geoinformační technologie v sociální geografii 3
Typy zdrojů online dat na webu ke scrapování
Web scraping se za nejčastěji považuje odchytávání elementů html (resp.
parsování html), ale může jít i o další formy spojené s reverzním inženýrstvím
aplikací a extrakcí dat.
Z7894 Geoinformační technologie v sociální geografii 4
Typy (časoprostorových) geografických dat
aktuální obsazenost parkoviště
vs
google popular times
Z7894 Geoinformační technologie v sociální geografii 5
již zaznamenaná měření teploty
vs
aktuální teplota
vs
predikce budoucí teploty
návštěvnost v procentech
vs
návštěvnost přesná
Některé scrapování je nutné automatizovat (např. pokud chceme sbírat údaj
o návštěvnosti v čase a sestavit časovou řadu).
Typy časoprostorových dat - ukázka
Z7894 Geoinformační technologie v sociální geografii 6
Základní rozdělení
• Jednoduché s GUI –např. Web Scraper plugin pro webový prohlížeč
• Složitější pro programovací jazyky –např. knihovny pro python/R
(např. rvest)
• Vlastní skripty/programy
• Komerční cloudové platformy –např. Apify, Octoparse, Scrapestack
Jaké jsou výhody a nevýhody jednotlivých řešení?
Web scraping: Nástroje
Z7894 Geoinformační technologie v sociální geografii 7
Zadání cvičení
Praktická ukázka
Web Scraper s GUI
ve vývojářském
režimu Chrome
https://chrome.google.com/webstore/detail/web-scraper-free-
web-scra/jnhgnonknehpejjnehehllkliplmbmhn
Z7894 Geoinformační technologie v sociální geografii 8
Vytvoření schémat, resp. jejich import a zahájení scrapování.
Dotazy?
9Z7894 Geoinformační technologie v sociální geografii
Děkuji za pozornost