Rozvoj IT kompetencí PAVLA KOVÁŘOVÁ Problémy? •Prezentace jednotlivců v rámci skupin •Dotazy na mne? Co vám chybí k dokončení modulů? S čím bojujete? Co z úkolů už máte? •15 min. práce ve skupinách – kdo co potřebuje Evaluace a hodnocení •Evaluace = zkoumání hodnoty (kvality) výukové jednotky pro usuzování o efektivitě •Hodnocení = zkoumání kompetencí studentů v návaznosti na výukovou jednotku Metody hodnocení •Soubor kompetencí ◦Sebehodnocení, vč. sebevnímané účinnosti, např. ILSE (information literacy self-efficacy) ◦Objektivní hodnocení (znalosti): hl. test s výběrem z více odpovědí v souladu se standardem IG, např. SAILS ◦Performativní hodnocení (výkon): dokumentace procesu nebo produktu, hl. pozorování, dokumentová analýza ◦Autentické hodnocení (aplikace v reálné situaci): analýza bibliografií, portfólií…, konceptuální mapy •Organizace výuky ◦Analýza potřeb, akční výzkum, evaluační výzkum ◦Formativní (např. focus group, analýza produktů), sumativní ◦Třídní (lekce, předmět), programové (studijní program), institucionální => výukové cíle (Radcliff et al. 2007) Organizace výuky – logy v Moodle •Záznamy všech aktivit studentů •Např. přihlášení, prohlížení, stažení, využité odkazy, doba strávená v aktivitě…; více dat interaktivní prvky •Nástroje v Moodle ◦Známky – výsledky všech testů s hodnocením ◦Statistiky testů – vlastnosti testových otázek a testů ◦Sestavy: ◦protokoly (kdo kdy co odkud dělal), ◦aktivita kurzu (k jednotlivým materiálům, kolik a jak pracovalo) ◦účast v kurzu (k jednotlivým studentům co kdy a jak dělal) ◦statistiky kurzu/přehledové statistiky (co se v kurzu dělo, hl. počet přístupů v časovém intervalu, aktivita uživatelů) ◦Příklad dalších možných pluginů: Google Universal Analytics Evaluační výzkum •Možné cíle: popis programu/intervence (cíl, vlastnosti, návrh a implementace), srovnání (s jinými programy, standardy), predikce (pravděpodobnost dosažení výsledku, projevené vlastnosti) •4 základní kritéria kvality: užitečnost, proveditelnost, oprávněnost, technická adekvátnost •Formativní (co zlepšit) X sumativní (efektivita) •Výchozí zdroje programu, aktivity, výsledky, cíle, vztahy mezi nimi •Postup: analýza teorie, obraz o programu (lidé, dokumenty...), sběr dat, analýza, prezentace výsledků (podstatné zahrnutí doporučení) • Metody evaluace – Kirkpatrickův model Úrovně měření 1. reakce 2. učení 3. chování 4. výsledky Co Osobní, pocity Kompetence Aplikace znalostí, změna chování Vliv změn chování na okolí Kdy (ideálně před/po) Ihned po realizaci výuky Několik dní Několik týdnů Několik měsíců Jak (příklady metod) Dotazník, rozhovor, focus group, diskuzní fóra…. Náročné na přípravu Pretesty a posttesty, rozhovory, pozorování Problém kvantifikace a interpretace Pozorování, (hloubkové) rozhovory a focus group, 360° zpětná vazba, focus group Pravidelná hodnocení výkonu, manažerské rozhovory, ROI 1. a 2. úroveň •Obvykle kvantitativní ◦Nezachytí možné, ale obvyklé ◦Snaha o falzifikaci hypotézy •Stanovení problému ◦Teoretická analýza (studium literatury, konzultace s odborníky, zkušenosti z praxe) ◦Formulace problému (operacionalizace definic, formulace výzkumné otázky) •Rozhodnutí o podobě všech kroků (vč. analýzy a interpretace) Schéma evaluace (Hendl 2008, s. 298-307) KVANTITATIVNÍ Shromažďování informací (literatura, různé modely evaluace) Vytvoření kritérií validizace (co vyhodnocovat, „dobrá“ hodnota + vhodný expertní panel) Návrh plánu a provedení sběru dat Analýza dat Rozhodnutí (doporučení, akce, zdůvodnění) KVALITATIVNÍ Podrobný popis intervence Analýza jednotlivých procesů Popis různých typů účastníků a způsobů účasti Popis vlivu na účastníky Popis pozorovaných změn (nebo absence), efektů a důsledků Popis silných a slabých stránek dle účastníků Základní struktura formování výzkumu •Výzkumný problém => výzkumný cíl = základ úkolu, ostatní k tomu zvažováno: ◦Rámec výzkumu (před, během, po; kvali/kvanti) ◦Základní pojmy k definování ◦Výzkumné otázky ◦Potřebnost a smysluplnost ◦Zdroj dat (lidé, záznamy, dokumenty...) ◦Populace, vzorek (zdroj, velikost, reprezentativnost) ◦Postup (harmonogram, záznam, materiál, rozpočet, pomocníci) ◦Metody, hypotézy, analýza dat, vyhodnocení (příště) • Analýza a výsledky •Pro pochopení problému nutná znalost kontextu (vznik dat) a výsledků (výskyt, vztahy, zobecnitelnost) •První krok uspořádání a četnosti •Závěry mohou napovědět grafy – hodnotíme zhuštění, shluky, mezery, odlehlé hodnoty, tvar rozdělení •Statistické hodnoty •Míry centrální tendence: průměr (kardinální, symetrické rozložení), medián (min. ordinální, s odlehlými hodnotami, silně zešikmené), modus (více vrcholů, základní přehled) •Variační hodnoty: variační šíře, statistická odchylka a rozptyl… Vyvození závěrů a jejich prezentace •Vysvětlení zjištění, vyhodnocení, hledání skrytých spojení, jejich příčin a významu, podmínky a rozsah zjištění ◦Vyplývají ze srovnání nějaké souvislostí? Je zde asymetrie, pravidelnost, odchylky…? Jaké je vysvětlení? Existuje v údajích nějaký trend, nebo spíše „rozházenost“? ◦Jak zjištění (ne)odpovídají teorii? A výzkumům? Je nějaké vysvětlení? •Klíčové argumentovat, usuzovat a zdůvodňovat •Možné vzniky chyb nutné okomentovat a uvažovat (co, vliv) Měření I. úrovně •Témata: obecná spokojenost s výukovými materiály (snadnost použití, srozumitelnost, užitečnost), lektorem, prostředím... •Nutná možnost kvantifikace (zobecnitelnost) + doplňující komentář, anonymita •Výsledkem pro organizátory podněty k pokračování lekce, změně obsahu, metodologie apod. •Negativní výsledek => silný vliv na další efekt lekce (mj. motivace) •Poměrně časté (dle Kirkpatricka na 1. úrovni u 95 % programů X na 4. úrovni jen 5-10 %) Metody měření I. úrovně •Dotazování: ◦Dotazník ◦Slovní vyjádření účastníků •Obsahová analýza ◦Různé typy dokumentů při i po lekci ◦Diskuzní fóra ◦Kreativní techniky • Dotazování •Dotazník (+ anketa) X interview •Nezjišťuje pedagogickou realitu, ale názor => v pedagogice dotazník jen když nelze jinak •Vhodné řešit obsah i formu •Pozor na návratnost, prokázána hl. u lidí s vyšším vzděláním, odpovědností a kladným postojem k problematice •Čištění odpovědí: vyřazení nesprávných a neúplných, rozhodnutí co s nevyplněnými •Příklady: dotazník 1. dojmu, IDEA test, smilesheety (ukázky) • Požadavky na konstrukci •Pozor na ochotu spolupracovat (klíčový průvodní komentář, vč. jasných pokynů) •Položky srozumitelné respondentům, jednoznačné, jen nezbytné + nesmí být sugestivní, návodné! •Logická struktura (pořadí položek) ◦Kontaktní: uvedení, důvěra X ne demografické a choulostivé ◦Kontrolní: ověření věrohodnosti (stejné jinak, otázky na známé / neexistující…) => vždy posoudit důsledek ◦Filtrační: vyřazení respondentů •Pozor na obsah otázky (např. proč…? => jen názor) Úkol •Cíl – dotazník pro evaluaci e-kurzu (tým) •Co chcete zjistit? •Rozložte základní problém na dílčí •Lze zjistit jednoduchou otázkou s nabídkou odpovědí? ◦Ano => dotazníková otázka (ideálně spojitá, pak ordinální, pak nominální) ◦Ne => rozložení dál •Co nejméně otázek ke stanovenému cíli Rating (škály) •V pozorování provádí expert, ale princip stejný pro dotazníkové •Dělení (dle Kerlingera): kategoriální, numerické (čísla + extrémy slovně) a grafické (místo čísel osa) •Lze 0 až max. nebo – až + •Lichý (častější, středová hodnota) i sudý počet (nutné se vyjádřit), pro pedagogické jevy doporučeno 4-5, pro postoje 6-7 •Posuzovací škály s vynucenou volbou, např. přiřazení různých charakteristik na stejné škály, nutné ne k jedné hodnotě (např. technika S. Rysa) Obsahová analýza •Analýza dokumentů, hl. textové, ale obecně jakékoli •Kvantitativní i kvalitativní •Vždy nutné specifikovat typ dokumentů pro obsah (homogenita), např. mediální zprávy, diskuzní fóra, seminární práce... •Vymezení základního (výběrového) souboru => významové jednotky (slovo, téma…) => analytické kategorie (klasifikace jednotek) => (kvantifikace přes četnosti, středové a variační hodnoty, statistické testy…) => interpretace zjištění •Sledováno nejčastěji frekvence, kontingence (vč. ne/výskyt), pořadí, stupeň (intenzita), věnovaný čas nebo plocha, systém kategorií •Využitelné i na 2. úrovni: obrázky v zápiscích X chyby v seminárce • Možné cíle úkolů (Rohlíková, s. 216-217) •Hledání cest k řešení, aplikace pojmů •Ověření studentových postojů •Rozvoj schopností, utřídění a vyjádření myšlenek •Odpovědnost studenta za své řešení •Prostor pro kreativitu, řešení problémových úkolů, •Možnost práce v týmu + spolupráce •Rozvoj písemné komunikace, příp. i ústní •Aplikace teoretických poznatků na praktickou situaci •Využití informačních zdrojů pro nové poznatky, rozvinutí aktuálních schopností Měření II. úrovně •Úroveň získaných znalostí (test), dovedností (modelové situace) nebo postojů (škály) •Metody jednoduché, ale náročné na vhodné nastavení + testování (statistické) •Kvantitativní, doporučena kontrolní skupina + pre/post •Vhodná bezprostřední a dlouhodobá retence (s odstupem cca 3 měsíců) •Použití k odpovídající akci (změna obsahu) Metody měření II. úrovně •Různé druhy testů (např. pre- a post-testy, s kontrolní skupinou, s časovou prodlevou…) •Hodnocení účastníků lektorem (riziko subjektivnosti) •Sebehodnocení (schopnost reálně posoudit své vlastní silné a slabé stránky) •Zadávání úkolů z reálných situací, které se vztahují k probíranému tématu • Testy v pedagogickém výzkumu •Ústní zkouška nahodilá, časově náročná, malá objektivita X osobní kontakt, možné reakce •Test = zkouška identická pro všechny s jasně danými způsoby hodnocení a číselného vyjádření (ne libovolná) •Testy schopností (předpoklady řešení úloh, např. IQ testy), osobnosti (temperament, motivace…) a výkonu (především didaktické) •Didaktický test = „objektivní zjišťování úrovně zvládnutí učiva u určité skupiny osob“ (Chráska 2007, s. 184), nutné dodržení pravidel při návrhu, ověřování, hodnocení a interpretaci Typy didaktických testů •Rychlosti (úlohu schopný řešit každý, rozdíl v rychlosti) X úrovně (bez časového limitu, v praxi jen pro nejpomalejší) •Standardizovaný (důkladně ověřený, vč. testové příručky = manuál) X kvazistandardizovaný (např. pro všechny třídy v ročníku) X nestandardizovaný •Kognitivní (např. výpočet) a psychomotorický (např. psaní na stroji) •Rozlišující (žák k populaci testovaných) X ověřující (žák ke všem úlohám pro zvládnutí učiva) •Vstupní X průběžné (spíše hodnocení výuky než žáků) X výstupní •Monotematické X polytematické •Objektivně (lze i strojově) X subjektivně skórovatelné (komplexnější) Testové úlohy – otevřené •Otevřené: nutné kódovat X hlubší souvislosti •Široké: ◦komplexní vědomosti či dovednosti ◦nelze objektivně skórovat ◦stanoven počet bodů se snížením za chybu/chybějící část ◦nestrukturované X se strukturou (vymezenou X danou konvencí) •Se stručnou odpovědí: ◦produkční (Kdy byla založena MU?) ◦doplňovací (MU byla založena …) ◦snadný návrh, těžké uhodnout Testové úlohy – uzavřené •Náročnější tvorba (překrytí) X rychlejší •Distraktory musí být stejně přijatelné, ideálně na obvyklých chybách •Varianty co nejstručnější (ohled na cílovku) •Typy: ◦Dichotomické: snadný návrh, problém hádání (kompenzace množstvím) ◦Polytomické s výběrem jedné odpovědi: správná, nejpřesnější, nesprávná (zápor nutné zdůraznit) ◦Výčtové položky: nutné zdůraznit více odpovědí, složité na skórování (všechno a nic X poměrově s max. 1 bodem za úlohu X vážené) ◦Situační/interpretační: volba není explicitní (např. Doplňte číslici pro dělitelnost sedmi: 823*43) ◦Přiřazovací (hlavní města a státy; na jedné straně více variant – hádání), uspořádací (seřaďte dle velikosti, složité skórování) Konstrukce didaktického testu •Výukové cíle •=> pro každé určitý počet úloh •=> konstrukce úloh •=> po pár dnech odstupu nové zhodnocení (náročnost, srozumitelnost…) •=> posouzení kompetenty •=> úprava (vč. vyřazení s nevhodnými charakteristikami, seřazení od nejlehčích) •=> určení času a pokynů pro testované Hodnocení didaktického testu •Rovnoměrné X vážené •Rozbor odpovědí, vč. nenormovaných (špatně, nevyplněno) •Klasifikace obvykle dle normálního rozdělení četností, možný intuitivní přístup, na základě správných odpovědí Zpětná vazba (i pro úkoly) •Klíčová => poučení z chyb •Okamžitá, včasná a důkladná •Průběžná a souhrnná •Konstruktivní, motivující, věcná •Konkrétní, objektivní a individuální •Konzistentní Úkol •Vytvořte pro svůj modul autoevaluační test •Objektivně skórovatelný, 5-10 otázek, min. 4 varianty, zpětná vazba •Zamyslete se nad postupem vyhodnocení a uplatněním výsledků Modelové situace •Pozorování, dotazování => řešení situací •Využití i na 1. úrovni – hospitace, náslechy •Objektivní, záměrné, cílevědomé, plánované a systematické •Nutný záznam a následně metodické zpracování (uspořádání, kategorizace, vyhodnocení a interpretace) •Nestrukturované (nové – explorativní nebo diferencované prostředí) X strukturované (předem dané kategorie + manuál) => oba dále kódovány •Posuzovací škály (na konci, obvykle 15-25), příp. pozorovací systémy (nejznámější Bellackův – objektivní zachycení dění ve třídě; Flandersův – víc i vliv emocí, pozitivní/negativní) •Typicky: délka, frekvence, sekvence, kombinace •Náročné pro tutora, možnost peer-assessment Negativní vlivy na pozorování •Pozor na ovlivňování pozorovaných (pohyby, gesta i oblečení...) •Haló efekt (vliv prvního dojmu na celé pozorování) •Logická chyba („logický“ předpoklad vlastnosti), předsudky (vliv jiných učitelů), stereotypizace (charakteristiky jako u podobných dětí), tradice (brýlatý intelektuál) •Figura a pozadí (vliv prostředí na vnímání situace) •Aktuální psychický stav pozorovatele •... • • Co s tím? Hledání důvodů •Základem kvantita, ale vhodná možnost volné odpovědi => nutná analýza •Možná návaznost smíšeným výzkumem (kolik => proč) •Možné různé typy analýz, např.: ◦Strom problémů: jako diagram příčin a následků, ale větvení do obou směrů ◦Soubor ze 100metod: metoda pozitivní změny, persony, poziční mapy, mapa kontaktních míst, cesta službou, empatická mapa... a mnoho dalších Úkol – evaluace v e-kurzu •Autoevaluační test ◦10 otázek ◦Všechny automatické vyhodnocení správnosti ◦Všechny se zpětnou vazbou pro studenta •Dotazník spokojenosti – celý e-kurz ◦Popis dotazníku (oslovení respondentů) ◦Cca 5 otázek, max. 2 otevřené Děkuji za pozornost. VÍCE KREATIVITY V KPI22. Použitá literatura •GAVORA, Peter. Úvod do pedagogického výzkumu: kvantitativně-scientické a kvalitativně-humanitní přístupy v edukačním výzkumu. České rozš. vyd. Překlad Jana Cacková. Brno: Paido, 2009, 302 s. ISBN 978-80-7315-185-0. •HAUPT, Grietjie a Seugnet BLIGNAUT. Uncovering learning outcomes: explicating obscurity in learning of aesthetics in design and technology education. International Journal of Technology and Design Education. 2008, vol. 18, issue 4, s. 361-374. DOI: 10.1007/s10798-007-9029-1. Dostupné z: http://link.springer.com/10.1007/s10798-007-9029-1 •HENDL, Jan. Kvalitativní výzkum: základní teorie, metody a aplikace. 2., aktualiz. vyd. Praha: Portál, 2008, 407 s. ISBN 978-80-7367-485-4. •HENDL, Jan. Přehled statistických metod: analýza a metaanalýza dat. 3., přeprac. vyd. Praha: Portál, 2009, 695 s. ISBN 9788073674823. •CHRÁSKA, Miroslav. Metody pedagogického výzkumu: základy kvantitativního výzkumu. Vydání 1. Praha: Grada Publishing, 2007, 265 s. ISBN 978-80-247-1369-4. •KIRKPATRICK, Donald. Evaluating Training Programs: The Four Levels. 3. vyd. ReadHowYouWant.com, 2009. 296 s. ISBN 978-14-429-5584-4. •KIRKPATRICK, Donald. Great Idea Revised: Revisiting Kirkpatrick’s Four-Level Model. Training & Development. č. 50, s. 54-57. •RAHIMIĆ, Zijada a Sanvila VUK. Evaluating the effects of employees education in B&H companies. In: Conference Proceedings: International Conference of the Faculty. 2012, s. 1044-1057. Dostupné z: EBSCOhost •ROHLÍKOVÁ, Lucie a Jana VEJVODOVÁ. Vyučovací metody na vysoké škole: praktický průvodce výukou v prezenční i distanční formě studia. 1. vyd. Praha: Grada, 2012, 281 s. ISBN 978-80-247-4152-9. •SKUTIL, Martin. Základy pedagogicko-psychologického výzkumu pro studenty učitelství. Vyd. 1. Praha: Portál, 2011, 254 s. ISBN 978-807-3677-787. •ŠVEC, Štefan. Metodologie věd o výchově: kvantitativně-scientické a kvalitativně-humanitní přístupy v edukačním výzkumu. České rozš. vyd. Překlad Jana Cacková. Brno: Paido, 2009, 302 s. ISBN 978-807-3151-928. •VESELÝ, Arnošt. Metody analýzy politik. [2010]