Metodika evaluace programu
Jan Činčera, Masarykova univerzita


Cíle lekce
•Po ukončení lekce studenti:
•Navrhnou evaluační plán pro zvolený program, připraví vhodné nástroje pro sběr dat a naplánují
metody pro analýzu dat;
•Aplikují citlivý a responsivní přístup k realizátorům programu.

Vstupní otázky
•Proč některé organizace mají velký zájem o evaluace svých programů a jiné ne? Jaké přednosti a
rizika mají externí evaluace (evaluátorem zvenčí)?
•Jak byste nejlépe nastavili evaluaci pro pětidenní pobytový program environmentální výchovy?
•Jaké největší chyby může evaluátor udělat?
•

Je můj program OK?
Ano, při hladině významnosti α=0,05.
Evaluace je proces kritického zkoumání programu. Probíhá v interakci mezi realizátory programu a
evaluátorem, případně dalšími zainteresovanými stranami.
Zdroj: Pohádkové lístečky

Oblasti a typy evaluace
Analýza potřeb a nákladů
Formativní evaluace
Sumativní evaluace
Hodnocení implementace programu
Analýza programu

Evaluační cyklus



Příklad: Evaluace programu Strážci Země
•


Strážci Země (10-12 let, 3 dny + úkol)
Foto: JČ, Veronika Beňková
4 pojmové aktivity
Hlubší porozumění ekologickým principům
Posílení vztahu k přírodě
Zaujetí
Odhodlanost k jednání
Šetrnější chování doma a ve škole
Aktivity na vnímání přírody
Rituály a motivační aktivity
Samostatné úkoly
Analýza programu
- Analýza teorie programu, tj. kauzálních vztahů mezi aktivitami a cíli a procesního modelu
(uspořádání aktivit)
Logický model
- Vizualizace předpokládané teorie programu

Evaluační plán: příklad
Evaluační otázka
Respondenti
Sběr dat
Nástroj
Analýza
Jsou žáci s programem spokojeni? Jaký význam mu dávají?
Všichni, kteří absolvovali celý program, cca 150 respondentů a 3 ohniskové skupiny.
2 týdny po programu
Při programu
Dotazník
Pozorování
Ohniskové skupiny
Deskriptivní analýza, kategorizace
Otevřené kódování
Rozvíjí program ekologické porozumění žáků?
Všichni, kteří absolvovali celý program, cca 150 respondentů.
1 týden před a 2 týdny po programu.
Vědomostní test
Bodování 0/1, Wilcoxonův párový test
Ovlivňuje program pro-environmentální hodnoty a chování?
Všichni, kteří absolvovali celý program, cca 150 respondentů.
Hodnoty: 1 týden před a 2 týdny po programu
Chování: 1 týden před a 3 měsíce po programu.
Hodnoty: Dotazník 2-MEV
Chování: Dotazník
Likertovy škály (1-5), t-test

Výsledky: Spokojenost a význam
C:\Users\User\Documents\Google\Projekty\7horky\fotky102012\galerie-4725.jpg
Žáci po roce vzpomínali na prožitkové, emočně laděné aktivity s prvkem tajemství.
“Byla jsem s mladším bráchou v lese a hledala Magické místo … jedno našel a pak říkal, že tam viděl
srnu…“
Foto: Veronika Beňková

Environmentální hodnoty



Výsledky: vliv na chování žáků
60% žáků po 2-3 měsících doložilo změny ve svém chování.


Evaluační zpráva



SEBE-VYMEZENÍ
Poutníci
Mystici
Strážci hradu
Komunikace s realizátory programu
Otevřenost realizátora k evaluaci se odvíjí od jeho aktuálního  sebevymezení, tj. převládající
otevřenosti vůči externí evaluaci zpracované pomocí společensko-vědní metodologie.
Otevřenost
Empatie
Partnerství
Příčiny „neúspěchu“?
1.Metodika evaluace
2.Implementace
3.Teorie programu

Úkol na procvičení
Vyberte ke každé hodnocené oblasti nejvhodnější nástroje pro sběr dat a odůvodněte. Více možností
může být správně, úkol nemá jednoznačné řešení!

Náměty na samostatnou práci
•Zpracujte návrh evaluačního plánu pro libovolný program environmentální výchovy. Navrhněte vhodné
nástroje pro sběr dat a metody pro analýzu dat.

Doporučená literatura
•MEERA – My Environmental Education Evaluation Resource Assisstant. http://meera.snre.umich.edu/
•Salazar, G., Kunkle, K. & Monroe, M. C. Practitioner Guide to Assessing Connection to Nature.
https://cdn.naaee.org/sites/default/files/assessing_connection_to_nature.7.23.20.pdf?fbclid=IwAR318
cfygyryqI6sjin_Vx9xtWkpUPWfljfNzHmR_c1CExj1bbClm6tcbGo
•Ernst, J., Monroe, C. M. & Simmons, B. (2015). Evaluating Your Environmental Education Programs: A
Workbook for Practitioners. NAAEE,
https://naaee.org/eepro/publication/evaluating-your-environmental-education
•Metodiky pro evaluaci programů environmentální výchovy.
http://rozcestnik.nidv.cz/front/sekce/42?idCategory=42
•