EMPIRICKÝ VÝZKUM Mgr. Eva Abramuszkinová Pavlíková, PhD, MA 2015 Empirický výzkum Schéma přípravy, realizace, zpracování, vyhodnocení a interpretace empirického sociologického výzkumu - 1 Podle Giddense: 1. Definice problému: vyberte si téma… 2. Přehled dostupné literatury: seznamte se s existujícími výzkumy a teoriemi 3. Formulace hypotéz 4. Strategie, výběr metod 5. Provedení výzkumu: sběr a záznam dat 6. Interpretace získaných informací 7. Zveřejnění závěrů 8. Akademická obec o výsledcích diskutuje, může to vést k zahájení dalších výzkumů. 1. až 4. krok: přípravná fáze; zbytek: realizační fáze Empirický výzkum Schema přípravy, realizace, zpracování, vyhodnocení a interpretace empirického sociologického výzkumu - 2 Toto schema budeme využívat – detailnější, konkrétnější praktičtější A. Projekt: 1. CO 1.Zadání; 2. Cíl; 3. Předmět; 4.Literatura; 5. Diskurz, koncept výzkumu; 6. Referenční rámec; 7. Hypotézy; 8. Operacionalizace 2. KDE 9. Výběr vzorku 3 JAK 8. Operacionalizace; 10. Metody; 11.Techniky; 12. Organizace a řízení výzkumu; 13. Předvýzkum B. Realizace 14. Terénní sběr dat; 15. Kontrola a uložení dat; 16. Propočty a zpracování; C. Interpretace a prezentace 16. Propočty a zpracování; 17. Interpretace; 18. Prezentace Empirický výzkum Schema přípravy, realizace, zpracování, vyhodnocení a interpretace empirického sociologického výzkumu -3 (Především z hlediska uživatele) p.č. název obsah 1. Zadání Způsob vzniku úlohy, která vede k výzkumu - kdo, kdy, proč, v jakých souvislostech potřebu úkolu a výzkumu zformuloval. Základní věcné, časové, finanční, organizační a institucionální zakotvení. Způsob výběru řešitele. Kdo je řešitelem, kdo uživatelem. 2. Cíl K čemu má výzkum dospět a posloužit: co má být prostřednictvím výzkumu změněno, konkretizováno, poznáno. 3. Předmět Na jakém objektu má k výzkumu dojít, co se má zkoumat 4. Literatura Zpracování základní literatury k tématice výzkumu, její přehled, výstupy, poznatky, východiska, koncepty a diskurzy využívané ve výzkumu k tématice výzkumu 5. Diskurz, teoretický koncept Jaké je obsahově – teoretické zakotvení tématu, jak lze koncept zformulovat a specifikovat Empirický výzkum Schema přípravy, realizace, zpracování, vyhodnocení a interpretace empirického sociologického výzkumu - 4 6. Referenční rámec Jak vypadá soubor vlivů, které na předmět výzkumu mohou působit, jak jsou uspořádány obsahově, hierarchicky, z hlediska priorit, z hlediska dostupnosti zdrojů dat v personálních, časových a nákladových souvislostech. Jak na základě tohoto postupu je nutné redefinovat cíl, předmět a případně i diskurs. 7. Hypotézy Stanovení obecných a specifických (hlavních a dílčích) předpokladů o vztazích mezi vybranými možnými vlivy na předmět výzkumu, jejichž platnost má být výzkumem potvrzena či vyvrácena. 8. Operacionalizace Postup převodu hypotéz do zaznamenatelné podoby, čili do znaků – základů pro tvorbu indikátorů, které budou ve výzkumu použity pro popis vlastností daného předmětu. 9. Výběr vzorku Stanovení postupu výběru vzorku, rozsahu a složení dotazovaných (míra a způsob reprezentativity, opora výběru, ověřování, případně dopočty) Empirický výzkum Schema přípravy, realizace, zpracování, vyhodnocení a interpretace empirického sociologického výzkumu - 5 10. Metody Základní přístupy k řešení – odvozované od podoby dat o předmětu, ohraničení a strukturaci dat (témat), případně strukturaci a ohraničeních vzorku, možnostech ověřování a případně i experimentování s indikátory či částmi témat nebo vzorku, apod. Celkový přístup k řešení 11. Techniky Nástroje sběru dat a jejich vhodnost pro užití v daném výzkumu – ve vztahu k metodě a dalším předchozím krokům. Možnosti a meze nástrojů, základy jejich konstrukce, základy jejich lokalizace v postupu sběru dat, základy jejich zpracování a možností interpretace ve vztahu k operacionalizovaným indikátorům hypotéz. Možnosti užití, kombinace, vzájemné ověřování, apod. 12. Organizace a řízení projektu Od organizačního, personálního, technického, finančního, komunikačního a dalších zabezpečení výzkumu, přes stanovení harmonogramu prací, odpovědností v rámci týmu, kontrolních mechanismů a hodnotících postupů, až po způsoby nakládání s výsledky, ochranu dat, vlastnictví poznatků a možností užití (vše součásti PROJEKTU) Empirický výzkum Schema přípravy, realizace, zpracování, vyhodnocení a interpretace empirického sociologického výzkumu - 6 13. Předvýzkum Ověřování možností a mezí výzkumu v předvýzkumu – dílčí vzorek, varianty techniky sběru dat, varianty architektury a nosnosti indikátorů, školení a trénink tazatelů (výzkumníků), atd. Výsledkem – ověření či neověření nosnosti podkladu pro sběr dat v terénu. 14. Terénní sběr dat Organizační, technické, personální a metodické zabezpečení použití připravených technik pro sběr dat v terénu. Výběr, příprava, uspořádání vztahů a proškolení tazatelů, instruktážní podklady, podklady pro sběr dat. Samotný průběh sběru dat, dodávka dat, kontrola průběhu sběru dat, kontrola dodávek dat, vyhodnocení návratnosti. 15. Kontrola a uložení dat Převzetí a překontrolování vyplněných podkladů pro sběr dat od tazatelů, vyloučení nevyužitelných, kontrola logická, mechanická, technická. Uložení dat v příslušném formátu, konečný počet využitelných dat. 16. Propočty a zpracování dat Statisticko-matematické zpracování dat (frekvenční analýza, párové vztahy, dynamika, vícerozměrné vztahy, srovnávání, zpracování pro interpretaci). Empirický výzkum I: Schema přípravy, realizace, zpracování, vyhodnocení a interpretace empirického sociologického výzkumu - 7 17. Interpretace S využitím propočtů a zpracování dat a na základě hypotéz a využitého vztahového rámce a teoretického konceptu snaha o výklad zjištěných dat právě v souvislostech daných přípravou. Jde o platnost či neplatnost hypotéz, ověřování nosnosti výpovědí prostřednictvím zjištěných podob indikátorů a vztahů mezi nimi, s využitím literatury a jiných výzkumů. (Práce s jedním výzkumem by měla být dnes spíš výjimečná.) 18. Zpracování zprávy Zpracování zjištěných poznatků ve vztahu k hypotézám, záměrům a cílům výzkumu a případně i ve vztahu k požadavkům a potřebám aplikací zadavatelem, vytvoření uceleného textu s dostatečným grafickým přehledným materiálem a plnou dokumentací v přílohách. (Nezbytnost dokladování!) Vydání, uložení 19. Prezentace Postupy seznámení zadavatelů či jiné (odborné i laické) veřejnosti s výsledky, prezentace závěrů a aplikability, publikační činnost, ocenění, recenze, citace. Případně: obhajoba Empirický výzkum Metody výzkumu 1 Metoda: přístup k řešení a základní postup řešení. Jde o zásadní rozhodnutí o tom, kudy a jak na předmět výzkumu. Ovlivňuje všechny kroky. Hlediska výběru metody (metod): Každá z metod je na něco jiného – soulad toho o co jde s metodou = základ úspěchu (Kanón na vrabce? Žiletka na pařez? Sukovice na vosu?) - S čím pracujeme: Čísla či jiné podoby symbolů? Hromadná data či individualizovaná? Opakovatelnost či specifičnost jevu? - K čemu to slouží: popis (seznámení s tématem, protože o něm nic nevíme?); objasnění (vysvětlení vztahů a souvislostí a vlivů?); pokračování (návaznost a kontinuita?); vhled do obsahu (hloubka motivací, až etologických a antropologických dimenzí…?) - Kde to zjišťujeme: na jednom ohraničeném objektu, nebo na terénu s nejasnými (např. institucionálně danými) hranicemi? Je to skutečnost, nebo ji simulujeme, vytváříme? Trčí to nebo to teče? Má to okraje a krajnosti, nebo ne…? Empirický výzkum Metody výzkumu 2 Přehled základních metod - Statistická - Typologická - Monografická - Experimentální - Historická Případně kombinace či propojování a postupy specifické (definované v propojeních) - Sociometrie - Sociobiografie Empirický výzkum Metody výzkumu 3 Statistická: Zásada: hromadné jevy jsou rozpoznatelné za pomoci nástrojů matematické statistiky Otázka: má předmět výzkumu podobu hromadných dat? Jde o opakované procesy či vztahy, které jsou v jednotlivých prvcích vyjádřitelné čísly? Čili: je předmět strukturovatelný do součástí a prvků? • Pracuje s hromadnými daty, jednotkou je číslo, je založená na pravidelnostech počtu pravděpodobnosti • Pracuje s postupy matematické statistiky. • Zpracování dat za pomoci balíku programů na zpracování hromadných dat. Užití (stále ještě nejužívanější) - K zásadnímu popisu a vysvětlení stěžejních obecných trendů a souvislostí - Spíše pro nové poznávání, nebo srovnávání dlouhodobých trendů - Velké mezinárodní výzkumy pro srovnávání obecnějších trendů Omezení a nebezpečí - Čísla a jejich výpovědní hodnota (výklad světa čísly?) - Záměna nástrojů za výsledky (přehnaná váha statistických nástrojů) - Trendy místo obsahů a skutečností (jde o trendy, ne o pravdu poznání) Nejužívanější techniky: - Dotazník - Standardizovaný rozhovor Vzorek: obvykle s aspirací na reprezentativitu, vybíraný náhodně či kvótně. Empirický výzkum Metody výzkumu 4 Typologická: Zásada: popisuje a vysvětluje krajnosti (typy) a předpokládá, že všechny ostatní podoby zkoumaného předmětu jsou na spojnici mezi těmito krajnostmi, že tudíž je možné předmět takto poznat a pochopit v celku. Základní otázka: jsou v rámci předmětu výzkumu rozpoznatelné krajnosti (typy)? Jsou tyto krajnosti pro poznání předmětu výzkumu podstatné? • Může pracovat s hromadnými daty, ale není to podmínka; • Může pracovat s čísly a tudíž i s nástroji matematické statistiky, ale jen tehdy, když jde o hromadná data; • Může využívat programů pro hromadné zpracování dat, když jde o hromadná data. • Musí pracovat s co nejpřesnějším vymezením typů (krajností). Užití: často u předmětu, který také umožňuje využití statistické metody, avšak s krajnostmi jde o výzkum jednodušší, rychlejší a levnější. (Všichni žáci versus jedničkáři a repetentni při výzkumu vlivu podmínek na prospěch, např.) Může být i u sond a kvalitativních šetření. Základní nebezpečí: Falešné vymezení typů Nejčastější techniky: kombinace, nejčastěji dotazovací techniky a analýza dokumentů. Vzorek: vybíraný s požadavky na reprezentaci typů (krajností). Empirický výzkum Metody výzkumu 5 Monografická Zásada: Pracuje s předmětem, který je poznatelný v rámci jednoho poměrně zřetelně ohraničeného objektu. Základní otázka: postupy výzkumu vycházejí z toho, co daný objekt nabízí. Východiskem jsou data a informace existující v objektu. Jde „jen“ o to, vědět jak je najít a jak s nimi pracovat. Každý monografický výzkum je originál. • Vyžaduje dobrou znalost zkoumaného objektu; • Vyžaduje dobrou vybavenost postupy (technikami) zkoumání. využitelnými na nabídky dat a poznatků v objektu. Může jimi být jakákoliv technika, vždy jde o kombinaci. Základní problém: - naplnění vhodného a využitelného počtu a způsobů postupu sběru a analýzy dat („vztahový rámec“ potřebných a možných postupů); - Shoda interpretačních rovin: sladění postupů tak, aby bylo možné výsledky jednotlivých postupů porovnávat, shrnovat až k syntetické výpovědi o předmětu výzkumu. (Prolínání postupů a přístupů, včetně doplňování a komparace technik sběru a zpracování dat.) Užití: vždy, když jsou jasné hranice objektu zkoumání (obvykle institucionální) – škola, obec, firma, úřad… Techniky: kombinace, využitelné prakticky všechny techniky sběru i zpracování. Výběr vzorku: Často bez výběru, když je nutný výběr tak vždy s požadavkem na reprezentativitu Empirický výzkum Metody výzkumu 6 Experimentální Zásada: jde o ověřování působnosti vložené proměnné do zkoumaného předmětu porovnáváním s „totožným“ předmětem bez dané proměnné. (Jde o pokus v tom smyslu, jak je znám z přírodních věd.) Základní otázky: má smysl – ve vztahu k cíli – sledovat působnost některých proměnných a jsou to ty proměnné, které potřebujeme pro poznání předmětu výzkumu? je možné předpokládat, že lze oddělit působnost sledované proměnné od ostatních vlivů? • vyžaduje obvykle laboratorní podmínky (včetně vybavení); • vyžaduje jasná měřítka; • vyžaduje opakování. Dobrý výsledek, když je při opakování potvrzení výsledků z předchozích kol. Základní problém: srovnatelné podmínky a stanovení nezávislých proměnných. Užití: nejčastěji při práci s tzv. focus groups (zástupci cílových skupin pro užití předmětu výzkumu v praxi). Hlavně při testování mediálních působení a manipulací (reklam). Techniky: pozorování (obvykle záznam), obsahová analýza, anketa Výběr vzorku: různý, podmínkou možnost opakování na v podstatě srovnatelném vzorku ve srovnatelných podmínkách. Tak u focus groups cílený záměrný výběr se zastoupením reprezentantů stěžejních kvót cílové skupiny (základního souboru). U „sociálních a politických experimentů“ – celé národy, státy, případně kontinenty či svět…(Ale to nebývá obvykle předmětem výzkumu…) Empirický výzkum Metody výzkumu 7 Historická Zásada: hledání souvislostí, návazností a trendů ve vývoji předmětu, v jeho dějinách. Základní otázka: je předmět výzkumu toho druhu, že je nezbytné pro jeho poznání a pochopení hledat v jeho minulém vývoji? (Vzhledem k charakteru sociálních jevů a procesů je tato otázka vždy zodpovězena pozitivně. V tomto smyslu je historická metoda součástí výzkumného postupu u všech šetření. Jsou však témata, která vyžadují historickou metodu jako základní.) • Vyžaduje aplikovat postupy vlastní historiografii; • Vyžaduje práci s prameny; • Vyžaduje co nejpřesnější formulaci cíle a předmětu a navazující obsahové vymezení. Základní problémy: - kde “zastavit dějiny“; - spolehlivost a úplnost pramenů; propojení postupů a jejich interpretace v souvislostech vývoje Užití: u výzkumu trendů vývoje, u pokusů o predikce, u zkoumání předělů (důležitých změn v předmětu) Techniky: obsahová analýza, sekundární analýza, studium dokumentů, sociobiografie Výběr vzorku: dostupnost a kompatibilita dat rozhodují Empirický výzkum Metody výzkumu 8 Obvykle dochází ke kombinaci metod. Některé kombinace metod jsou ustálené. Uvedeme dvě: Sociometrie; Sociobiografie. SOCIOMETRIE (původní autor Moreno: Who shall survive? 1934. U nás především M. Petrusek: Sociometrie. Praha 1969) Kombinace monografie, někdy i experimentu a typologie při zkoumání sociopreferenčních vztahů v malých sociálních skupinách Jde o poznávání struktury skupiny na základě výběrového (preferenčního) chování, které může být explicitní, nebo implicitní. Další dimenzí chování ve skupině jsou inetrakce (nepreferenční vztahy). Na ně bývá užívána např. Interaction Proces Analysis (IPA soustava) nebo jiné pozorovací postupy. Základní rozdělení preferenčních vztahů: žebříčky obliby, moci a dovedností. Existují speciální sociometrické nástroje šetření a zpracování. Za všechny ty hlavní: Sociometrické otázky (pokládají se obvykle po jedné za každý žebříček, všichni členové skupiny odpovídají – vybírají obvykle jednoho z členů skupiny jako toho nejlepšího v každé oblasti preferencí) z toho sociometrická matice (matice vztahů mezi všemi členy skupiny v každé oblasti preferencí) a sociogram (grafické vyjádření vztahů z matice s různým označením síly, reciprocity či prázdnoty preferencí a s pravidly interpretace) a sociometrické indexy (podíly voleb k celku uskutečněných, možných, v jedné a více oblastech, atd.) Empirický výzkum Metody výzkumu 9 Příklad sociometrické analýzy Třída, 20 žáků. Cílem je výběr lídra. Každý dostane číslo a tato čísla se k jednotlivým jménům napíší na tabuli. V odpověď na každou otázku může každý vybrat jednoho ze spolužáků ze třídy a do formuláře zapíše jeho číslo. Otázky: a. Dovednosti (Když chcete poradit s řešením nějakých školních problémů, ke komu ze třídy se nejprve obrátíte o radu?) b. Moc (Koho ze spolužáků nejvíc respektujete? Kdo má největší slovo?) c. Obliba (Kdyby třída jela na výlet autobusem a měli jste před sebou čtyři hodiny jízdy, vedle koho bys chtěl/a sedět?) Matice 20 na 20 políček, do nich se zaznamenají preference, propočtou se váhy přijatých preferencí v jednotlivých oblastech a stanoví se žebříčky. A indexy. Příklad sociogramu (lídr: číslo 9) 1 5 8 7 15 9 24 Empirický výzkum Metody výzkumu 10 Sociobiografie (Zde jen velmi stručně!) Jde vlastně o metodu vycházející z jedné větvě sociologického poznávání, z tzv. biografické sociologie. Principiálně jde o autenticitu a její zachycení v plynutí (většinou individuálního) života. Metodicky jde o cestu „od zvláštního ke zvláštnímu“, s výsledkem poznání a pochopení obsahu zvláštního v rámci doby. Zásada: studium životopisů, rekonstrukce životopisů. Dělení např.: a. - (auto) biografická metoda; - genealogická (přes generace) metoda. b. kopírující návaznost; - selektivní (východiskem nosná situace např. společenská, nebo v individuálním životě). c. popisující (zaznamenávající); - explikující. d. bez snahy o zobecnění; - přece jen se snahou o zobecnění (u typů např.) Nejčastěji využívaný postup: orální historie Nebezpečí: potřeba dokonalé přípravy věcné i metodické, jako zábrana podlehnutí vlastnímu výkladu a zkreslením. Empirický výzkum Metody výzkumu 11 Výhody sociobiografie: - Možnost přímé místní i časové lokace událostí a aktivit; - Možnost sledování shod či diferencí vývoje profesního, vzdělanostního, rodinného, politického, občanského, atd. - Identifikace událostí a skutečností, které stojí mimo obvyklá paradigmata - Větší možnost propojení životních osudů a osudů institucí, společenství či skupin - Možnost zachycení marginálních součástí existence a jejich vlivů - Vazby na region, kořeny, genius loci, místní kulturu a tradici - Možnost rekonstrukce sociálních sítí jedince a případně souvislostí s dalšími - Možnost konstrukce komunikačních a konativních map - Překročení pohledů od tendencí k osudům: větší a hlubší (a lákavější) lidská dimenze. Další nebezpečí: - Autentičnost za každou cenu - Stohy dokumentace bez možnosti výkladů a interpretací - Dezinterpretace výzkumníkem Techniky: Studium dokumentů, pozorování, rozhovory, obsahová analýzy, případně další. Empirický výzkum Techniky sběru dat 1 Nástroje pro sběr dat nutných pro ověření platnosti hypotéz - Primární (prvotně získávané pro daný výzkum) - Sekundární (získané jindy, využitelné pro daný výzkum) Základní členění technik sběru dat Analýza dokumentů Rozbor jakýchkoliv dokumentů, které jsou využitelné v daném výzkumu a (většinou) nebyly pro něj speciálně vytvořeny. Varování: rozbor dokumentu je možný, když je jasné, že jde o dokument. Pozorování Cílené zaznamenávání jevů a procesů, které jsou součástí předmětu výzkumu. Varování: Pozorovat lze jen to, co je pozorovatelné Dotazovací techniky Požadované informace jsou získávány prostřednictvím přímé či zprostředkované interakce s respondentem. Varování: dotázat se lze jen na to, na co je respondent schopen odpovědět. Empirický výzkum Techniky sběru dat 2 Charakteristiky všech technik pro sběr dat: Lze je členit na - Přímé či nepřímé: podle toho, zda jde o sledování skrze indikátory (nepřímé), nebo daného jevu tak, jak běží (přímé). - Standardizované či nestandardizované: podle míry standardizace podkladů pro sběr dat i pro jejich záznam a zpracování. Standardizované techniky používají jen jednotné podněty a také odpovědi jsou předem předepsány možností volby z připravených variant odpovědí. Naopak u nestandardizovaných technik je předem znám rámec výzkumu a jeho základní oblasti (součásti), během výzkumu samotného spíše vycházíme z podoby a reakcí předmětu výzkumu. Nejčastěji kombinace – polostandardizované. - Navozené (experimentální) či „přirozené“: podle toho, zda vytváříme novou situaci, nebo do ní nijak nezasahujeme. Empirický výzkum Techniky sběru dat 3 Analýza dokumentů Rozbor a využití poznatků dokumentů (pokud možno všech), v nichž jsou uloženy informace o zkoumaném předmětu. Jediná technika, která je využitelná ve všech fázích přípravy a realizace výzkumu. Konkretizace využití podle dělení dokumentů – každý dokument by měl být zařazen podle následujících kritérií, protože to spoluurčuje práci s dokumentem: a. Primární (původní, přímé informace, záznamy) či sekundární (převod, dopracování, interpretace primárních dat) b. Osobní (deníky, dopisy, sdělení…) či neosobní (úřední, materiální…) c. Oficiální (s oficiálním zdůvodněním a danou metodikou vzniku, případně i zpracování) či neoficiální (bez těchto impulzů a podkladů) d. Spontánně vzniklé (impulz mimo výzkum, mimo jeho relaizaci, sám o sobě) či navozené (vyvolané v rámci výkzumu) e. Materiální (nástroje, objekty, komunikace, technika…) či písemné f. Vizuální (viděné a k vidění připravené a utvářené) či fonetické (zachycující zvuk, hlas…), případně i haptické (hmatové) či čichové. Empirický výzkum Techniky sběru dat 4 Postup práce s dokumenty 1. Vyhledávání dokumentů (určení ve vztahu k předchozím krokům přípravy výzkumu, především k vztahovému rámci. Pozor na relevanci výběru a ukončení sběru dokumentů.) 2. Posouzení a lokalizace dokumentu podle předchozích kritérií 3. Kritika pramenů (metodická, věcná – porovnávání, konstrukce modelů a soustav na základě konceptu výzkumu… Posouzení informační hodnoty, validity a reliability pramenů. Vnitřní kvalita dokumentu – jeho konzistence, úplnost, korektnost, oprávněnost zdroje, motivace vzniku…Vnější kvalita dokumentu – použitelnost, funkce v rámci celku postupu…) 4. Posouzení autentičnosti a původnosti dokumentu (autoři, původnost, dohledatelnost zdrojů, případně přiznání převzetí dokumentu – zdroj, dohledatelnost pramenů, atd.) 5. Výběr základního postupu zpracování dokumentů: - Obsahová analýza - Sekundární analýza - Biografie Empirický výzkum Techniky sběru dat 5 Samotná analýza dokumentů může být a. - Kvalitativní (porozumění, interpretace obsahu, heuristika, vcítění, introspekce…) - Kvantitativní (třídění, kvantifikace, operacionalizace, číselníky, třídníky, kategorizace, katalogy, škálování, matematická statistika…) b. - Popisující (záznam, zachycení, dokumentace, uchování jevu či procesu, podklad pro další srovnávání…) - Explikativní (se snahou o objasnění zkoumané skutečnosti, porozumět a vysvětlit je…) - Zobecňující (se snahou dosáhnout prostřednictvím této analýzy obecnější výpovědi o trendech, obsahu, pravidlech, zvyklostech, případně i symbolech širšího dopadu a váhy) - Sociotechnická (se snahou dovést výstupy do praktického uplatnění) Empirický výzkum Techniky sběru dat 6 Obsahová analýza: Systematický popis dokumentu (dokumentů) směřující k uspořádání vnitřní struktury a k odhalování latentních informací, usilující o objektivitu popisu a výkladu obsahu dokumentu (dokumentů). Základ: kategorizace (klasifikace uspořádanosti) zkoumaného dokumentu. Musí přinést zdůvodněné odpovědi na otázky: - Co se sleduje (obsah sdělení) - Jak se to sleduje (způsob sdělení) - Kdo to sleduje (úhel pohledu) - Proč to sleduje (záměr a motivace) - Komu je sdělení určeno (zacílení) - Jaký účinek se od sdělení očekává (funkce – k čemu) Pro odpovědi na tyto otázky je nutné a. Stanovit obsahové jednotky a uspořádat je b. Převést je do kvantitativně vyjádřitelných proporcí a vztahů c. Ty pak zpracovávat jako znaky Empirický výzkum Techniky sběru dat 7 a. Stanovit obsahové jednotky a uspořádat je Jde o nalezení nejvhodnější základní jednotky na níž založíme analýzu. Může to být: - Slovo („klíčová slova“ např.); - nebo výrok (příznačné výroky, typické výroky, krajní výroky…); - nebo typ širšího vyjádření (struktura obsahu – kapitoly např. nebo rubriky, stránky v novinách, programové schema v TV, v rozhlasu, atd.); - ucelený materiál (článek, studie, obrazové či zvukové zachycení událostí…). Je velmi užitečné postupovat i zde za pomoci vztahového rámce, hlavně kyvadla (desagregace – agregace; analýza – shrnování, atd.) b.Převést je do kvantitativně vyjádřitelných proporcí a vztahů Převod za pomoci číselníku v němž jsou uspořádány obsahové jednotky. Může jít o jeden číselník, nebo o agregáty číselníků, nebo o číselníky podle oblastí, apod. Je užitečné využívat modelování, využívat možnosti dichotomií (je zde obsažena daná jednotka? Není? Pozitivní? Negativní? Statická? Dynamická?) a škálování (řazení podle váhy a významu či podle průběhu, apod.) c. Ty pak zpracovávat jako znaky Za pomoci možností matematické statistiky i řady dalších analýz (grafy, vývojové a vztahové diagramy, stromy rozhodování a řešení, apod. Zakotvená obsahová analýza: všechny uvedené kroky vycházejí z jasně vymezeného diskurzu a vracejí se k němu. (Ideální pro diplomovou práci!) Empirický výzkum Techniky sběru dat 8 Sekundární analýza Analýza dokumentů zhotovených k jiným účelům, avšak využitelných v rámci předmětu výzkumu. Čili – reanalýza (analýza v nových souvislostech a pohledech). Jde vlastně o postupy odhalování dosud latentních informací v již využívaných dokumentech či datech. Základ: odpovídající postupy nalézání dosud nevyužitých (nezjištěných, opomenutých, nepoložených do potřebných souvislostí, apod.) dat a stanovení metodologie pro srovnávání s jinými prameny tak, aby bylo možné srovnávat a doplňovat s jinak, jindy a k jiným účelům zjišťovanými daty a poznatky. Nejčastější dokumenty pro sekundární analýzu: - Statistické a jiné algoritmizované sběry dat (od účetní evidence, až po sčítání lidu; od evidence aktivit, až po strukturu příjmů; od evidence rodinných účtů, až po mikrocenzus, atd.). Včetně z nich realizovaných rozborů „tvrdých dat“. Základ – poznání algoritmu vzniku a respektování metodiky. - Jiné sociologické výzkumy (na dané téma jinde, na podobná témata jinde či vlastní, zlomky tématiky v jiných šetřeních, výzkumy veřejného mínění a jejich řady atd.) Základní postupy: - Nové metodologické nástroje a postupy na dřívější šetření a analýzy. (Rozvoj nástrojů analýzy – nové nástroje a jejich možnosti; rozvoj teorií a diskurzů – nové aplikace přístupů) - Nástroje srovnávacích analýz (přes indikátory, přes bloky, přes témata, přes výzkumy, v čase, mezi zeměmi, mezi diskurzy, atd.) - Specifikace distancí, průniků a shod, jako základů metodologie a algoritmů užitých při sekundárních analýzách. Empirický výzkum Techniky sběru dat 9 Využití: Při všech druzích výzkumu. Prakticky pro všechny předměty výzkumu existují podklady, které je třeba využít sekundární analýzou. Zvláště významné při komparativních výzkumech. Ty v poslední době převažují, protože existuje výrazný přebytek dat nad možnostmi jejich využití. Nebezpečí a problémy sekundárních analýz: Metodologické problémy: připravit srovnávání tak, aby šlo o sekundární analýzu co nejvíce se shodujících pramenů (indikátorů)  Hledání a využití srovnatelných indikátorů, čili míra podobnosti a její vlivy na výsledek: shromáždění využitelných indikátorů – inventura; shoda znění otázek, shoda možností odpovědí, rozsahy a strukturace škál; shoda záběrů vzorku, času šetření, druhu terénního sběru dat, míry a rozsahu reprezentativity, atd.;  Standardizace proměnných: možnosti úprav a přepočtů (převážení škál, převážení z dílčích vzorků na větší, apod.); možnosti testování shod prostřednictvím analýzy nositelů (vlivů) na dané indikátory (vícerozměrné analýzy, analýzy souboru vlivů a intervenujících proměnných, apod.)  Nové modely na stará východiska: odlišnost diskurzů, dodatečné operacionalizace, dodatečné koncepty přístupu, dodatečné vztahové rámce…  Selekce a narušování souvislostí: kontext jednoho výzkumu vůči druhému (architektura dotazování např. a místo indikátorů v ní a jejich vliv na výsledky…)  Porovnání mezi výsledky podle různých technik: …magie Empirický výzkum Techniky sběru dat 10 POZOROVÁNÍ Základní technika neopozitivizmu a fenomenologické sociologie: co je pozorovatelné, to je hodno pozornosti. Avšak: co je a co není pozorovatelné? Technika sběru dat využitelná tehdy a jen tehdy, když a. Existuje možnost, aby výzkumník (tazatel) sledoval daný sociální jev (je ho vidět, slyšet, cítit, lze ho nahmatat, ochutnat) – pozorování je možné; b. Je tento způsob poznávání dnaého objektu odpovídající cílům výzkumu: pozorování je postačující. Znamená to, že jde o cílené pozorování, opřené o předchozí proces přípravy výzkumu, opřeného obsahově o hypotézy. Může ovšem sloužit i jako technika pro předvýzkum, během něhož dochází k formulaci hypotéz. Třídění pozorování (každý druh vyžaduje odlišný postup přípravy a realizace): - Podle aktuálnosti: bezprostřední (přímé) či zprostředkované; - Podle zacílení: registrující či kontrolní; - Podle standardizace: standardizované či nestandardizované; - Podle účasti výzkumníka: zúčastněné či bez přítomnosti výzkumníka ve zkoumané skupině; - Podle sdělení pozorovaným: zjevné či skryté. Empirický výzkum Techniky sběru dat 11 Užití – Vždycky kombinace (např. bezprostřední, registrující, standardizované bez účasti, skryté…) - Kombinace s jinými technikami (pozorování jako zdroj poznání předmětu zkoumání, z něj obsahová analýza a z ní tvorba podkladu pro dotazník – s návraty k předchozím krokům přípravy výzkumu) Přednosti: - aktuálnost; - autentičnost (zachovány vlivy prostředí a souvislosti místa, času, sociálního pole, atd.) - Možnost vhledu (lze vstoupit „dovnitř“ akcí, porozumět a pochopit aktivity, obsahy i řadu důvodů a vlivů – vcítění, respekt…) - Každodennost, ne imputování teoretických či jiných modelů na svět zkoumaých aktérů (základ interpretativní školy – možnost interpretací a komunikačních řetězců od subjektivního, k objektivnímu…), ale autenticita. Nebezpečí: - Nezachytitelnost a nezpracovatelnost; - Nesdělitelnost; - Rozdíly ve zkušenosti, dispozicích a dosavadním vývoji percepce každého jedince; - Parciálnost, detaily (pro stromy není vidět les); - Akcent na zajímavosti, na ukazování, okrajové ale dobře viditelné skutečnosti; - Haló efekt (podlehnutí prvnímu dojmu a subjektivitě pozorovatele) Empirický výzkum Techniky sběru dat 12 Dotazovací techniky: komunikace tazatele (výzkumníka) s respondentem - Přímá: přítomnost tazatele (rozhovor); - Zprostředkovaná podkladem pro záznam: obvykle bez přítomnosti tazatele (dotazník) J.3 DOTAZNÍK Předtištěný soubor otázek, na něž jsou od respondenta požadovány odpovědi. Zásada: respondent pracuje většinou sám, bez další možnosti dovysvětelní. Takže dotazník musí být srozumitelný i pro toho nejméně disponovaného respondenta jak ve znění otázek, tak v pokynech jak s nimi pracovat, a to navíc srozumitelný shodně pro všechny respondenty. (Princip „kriteriálního posledního“.) Respondent je při práci s dotazníkem sám, omezován a disponován vlastními zkušenostmi, návyky, komunikačními dovednostmi, motivy, situacemi…apod. Z toho: - Dotazník je technika především na jednodušší a sdělnější témata - Využitelný především pro statistickou metodu; - Spíše pro seznámení či potvrzení známého; - spíše pro práci s hromadnými daty a v číslech zpracovatelnými indikátory. Empirický výzkum Techniky sběru dat 13 Druhy dotazníků: Anketa Jednoduchý dotazník, obvykle od dvou do 15 otázek a maximálně 30 znaků, zacílený na první seznámení a nejčastěji na přímou manipulaci s respondentem. Druhy anket: -poštovní; - novinová; - roznášená do schránek; - přidaná (direct mail). Kombinace je efektivní. Např. poštovní či direct mail se sbíranou (pro vyšší návratnost). Motivace: soutěže, slosování, spolupráce, důvěra, cílené skupiny, slevy, bonusy… Když se povede 10 % návratnosti, považuje se to za úspěch. Dotazník - Vše ostatní mimo anketu. Nejefektivnější – rozdávaný dotazník. Výhody dotazníků Pro vstup a seznámení: rychlost; většinou efektivnost (obvykle nízké náklady, ale pozor na nezbytné výdaje, např. poštovné); odpadá „negativní efekt“ působení tazatele. Nevýhody dotazníků - Přílišné zjednodušení, povrchnost, možnost naprosté „zmýlené“ ; - Malá možnost kontroly validity a reliability; - Vliv okolí na respondenta; - Větší požadavky na specifika cílové skupiny a malé možnosti je respektovat; - Návratnost; - Neúplnost, ztráty. Empirický výzkum Techniky sběru dat 14 Architektura dotazníku - myšlenková: téma roste, začíná podněcuje, vede klesá – logika předmětu; - dramaturgie: 1. oslovení (smysl, cíl motivace, jazyk); 2. start (podnět, vyvolání zájmu); 3 jádro problému (nejobtížnější, obsahový vrchol); 4. doplnění problému (vedlejší téma, zpřesnění); 5. sociodemografické charakteristiky; 6. poslední výzva a poděkování - sociálně-psychologická: od motivace, k participaci; od zneužití k získání; jádro BEZ VÁS TO NEJDE! - Časová: většinou ne déle než 45 minut, nejlépe do 30 minut celkem. Jádro problému mezi 8. až 15. minutou práce. Po 20 minutách něco na oddech – vyrušit, dát možnost odpočinku. - Zpracovatelská: požadavek komplexnosti z hlediska tématu a postupu zpracování. Co všechno v dotazníku potřebujeme mít, abychom to byli schopni zpracovat? Přímý vztah k referenčnímu rámci – možnost cesty zpět ještě pořád existuje! Vztah k předchozím výzkumům. - Jazyková a kulturně – etnická: jazyk odpovídající cílové skupině (testovat!), kulturní zakotvení a etnické souvislosti. (Čechy mluví obecnou češtinou doma i venku, Morava mluví spisovnou češtinou venku a doma nářečím, atd.) Pozor na odlišná vidění pravdy a skutečnosti. Spojení všech požadavků na architekturu dotazníku dohromady – výsledná stavba a její ověřování. Empirický výzkum Techniky sběru dat 22 ROZHOVOR Jednou stranou vyvolaná a organizovaná profesionální verbální komunikace mezi dvěma či více osobami, jehož cílem je získání informací, čili řízená verbální komunikace, při níž dochází ke stimulaci, vyjádření a přenosu zprávy o předem vymezeném předmětu. Zásada: Vždy existuje zprostředkovatel (respondent, interviewuovaný), který podává infiormace o daném předmětu a zprostředkující (tázající se, tazatel, výzkumník), který je stimuluje a zaznamenává. Tudíž vždy dvojí filtr. Ale zároveň možnost dotváření komunikace a tedy i její větší obsažnost, hloubka a blízkost skutečnosti. V sociologii je zprostředkovatel vždy zprostředkovatelem a ne objektem výzkumu. (Psychologický rozhovor je naopak zaměřen na samotného zprostředkovatele.) Z toho: - rozhovor je technika především na složitější, méně „viditělná“ témata; -Využitelný pro různé metody, podle způsobu záznamu a výběru i pro statistickou a typologickou; - pro výzkum, který se snaží popsat, ale i vysvětlit a pochopit zkoumaný předmět v hlubších i širších souvislostech. Empirický výzkum Techniky sběru dat 22 Členění rozhovorů: - Podle přípravy a průběhu: A. standardizovaný; nestadardizovnaý; polostandardizovaný. B. řízený; volný. - Podle zaměření (obsah a cíl): popisující (vykládající); vysvětlující; chápající; k porozumění; k vcítění; k diagnóze; ke sdílení; k terapii… - Podle rozsahu záběru: individuální (dvojice); skupinový (tazatel či výzkumník se skupinou). - Podle podílu na rozhodování: - informující; - analyzující (např. focus groups); řešící (problem solving groups); - rozhodovací (shrnující předchozí s náměty na využití: např. i Brain Washing a Brain Storming…) Pravidla pro přípravu a vedení rozhovoru: - Řada pravidel o dotazníku platí i zde (především architektura a její možnosti, s aplikací na větší volnost podle podmínek) - Obecně: jde o kombinace systematiky, tvořivosti, zvyklostí a praktických návodů. Vyžaduje přípravu nejen věcnou, obsahovou a technickou, ale i osobnostní. - Zásada úspěchu rozhovoru: výzkumník je ucho, oko a ten, který se snaží pochopit roli a pozici intervieuwovaného. Seznámení s prostředím a souvislostmi a trénink rozhovoru jsou podmínky nepominutelné! Empirický výzkum Techniky sběru dat 23 Při přípravě a uskutečňování rozhovoru je nutné respektovat: a. Odhad únosnosti rozhovoru (z hlediska tématu, respondentů, okolností, složitosti a možností redukce informací na skutečně nezbytné) b. Koncepce nenásilného dialogu (plynulost, návaznosti, vyváženost obtíží, uvolněnost…dialog = hovoří dva naslouchající: tazatel naslouchá a vyhovuje!) c. Možnosti času, gradace, nárůstu únavy d. Motivace respondenta a její podněcování (největší motivace je sebeprojekce jako odborníka, experta, nenahraditelného jedince) e. Přátelská, ne však přehnaně důvěrná atmosféra: respekt vůči dotazovanému, jeho rytmus a zvyklosti a ochota k otevření se f. Pokud to jde dodržování připraveného postupu: Pozor na utíkání a mizení témat g. Připravit zázemí k otázkám a tématům: (podklady, doplňující zdroje, explikační rámec pro případ neporozumění) h. Jazyk blízký respondentům – kulturní a etnická dimenze: pozor na jazyky míst a profesí a situací (má být rozhovor slavnost?) i. Soustředění na daný problém: rovnováha mezi tendencemi respondenta k výkladu a nezbytností těchto tendencí k tématu j. Nekomentovat respondenta, vyloučit sebe: jen, když respondent přímo sám chce vyjádření tazatele a samzřejmě, když jde o vysvětlení o co ve výzkumu jde (Pozor na mimoděčné reakce!) k. Pozorovat a zaznamenávat nejen verbální vyjádření, ale i další: gesta, grimasy, citové reakce, smích, rychlost reakce, kadence … l. Pozor na „mluvu těla“: naučit se ji Empirický výzkum Techniky sběru dat 24 Na závěr: k vzájemnému užití technik sběru dat Nejefektivnější je kombinace technik. Vždycky – analýza dokumentů. (Dokonce ve všech etapách přípravy a zpracování výsledků výzkumu) Stále větší využití sekundárních analýz. Nejlepší varianta: když kromě analýzy dokumentů nejsou další techniky nutné. Velmi efektivní: - začít základním dotazníkem, - nad ním vést polostandardizovaný rozhovor, který umožní zpřesnit a vysvětlit obsahy odpovědí - možná i ukončit zpřesňujícím detailním dotazníkem (záznamovými archy) na stěžejní témata tak, aby měl respondent pocit, a možnost se plně podle svého vyjádřit. Zlatá zásada: dotazovaný rozhoduje o úspěchu – on je pán. Tazatel je osobně mimo – je oko, ucho, záznamník a paměť terénního sběru dat. Empirický výzkum Předvýzkum 1 Fáze (kdy): na konci prvního kola přípravy projektu Smysl (proč): Test nástrojů, které hodláme ve výzkumu používat. Cíl: Jistota, že odpovídají požadavkům vyplývajícím ze všech předchozích kroků Postupy: a.Simulující a b.kontrolující navrhované postupy výzkumu Výsledky: Potvrzení a dílčí úpravy, nebo všechno znovu. Požadavky rostou se složitostí, novostí a teoretickou nepropracovaností Využití na FHS: Vlastně většinou jde u vlastních výzkumů o předvýzkum! Základní pravidlo: všechny etapy přípravy ve zkratce (či ve zmenšeném opakování) – miniatura výzkumu. Empirický výzkum Předvýzkum 2 Smysl (proč): Test nástrojů, které hodláme ve výzkumu používat: - Otázky a indikátory: srozumitelnost (text, práce s nimi, cezury – výběry, řazení, zvládnutelnost, zaznamenávání, kontrola, ukládání…) - Výstavba: bloky a jejich návaznosti, logika, plynulost, úplnost - Témata: ve vztahu k předmětu, ve vzájemných vztazích, vztah k návaznostem a interpretacím – jak jim lze rozumět? Jak jim rozumí respondenti? Co jim tam ve vztahu k předmětu a cíli chybí? - Ozkoušení řešitelů pro přípravu tazatelů, pro objasnění, pro školení, pro přípravu terénu - Ozkoušení tazatelů (případně) - Ozkoušení ukládání, záznamu, případně přenosu (rychlost, jasnost…) - Co víc? Ukáže se vlastně vždycky! Empirický výzkum Předvýzkum 3 Postupy takové, které umožní naplnění, tedy: - Simulace cílových skupin Výběry z tohoto hlediska – složení respondentů ze základních výběrových kritérií, včetně regionů (Podklady a prameny! Specifičtější než je samotný výběr celého vzorku) - Možnost vyjádření ke všem dílčím otázkám Strategie předvýzkumu, hledání vhodné techniky a scénářů. Nejužitečnější Focus Groups v kombinaci s expertním šetřením. Příklad Focus Groups: - typická situace pro výzkumy studentů: - výběr; - shromáždění; - vstup a motivace; - práce s technikou samostatně; práce nad technikou: prezentace, témata, diskuse, řízení diskuse, návraty a dopovězení, konfrontace se sebou, uzavírání dílčích témat, shrnutí, pokusy o formulace témat, pokusy o formulace otázek, kombinace slov a obrazů, příklady a skládačky raději než hned hotové indikace, uzavření, vyhodnocení, odměny - technika: záznamy, měření, někdo reflektuje, někdo řídí, někdo předkládá, někdo koriguje, mluvčí a podskupiny, atd. Empirický výzkum Předvýzkum 4 Výsledky: Potvrzení a dílčí úpravy, nebo všechno znovu a jinak. - Způsoby zpracování výsledků: Časové schema a jeho naplnění (minutovník, témata, doba na zpracování, ukončování, vracení témat, nositelé…), včetně času na části a skupiny indikací Výsledky podkladů: co vzešlo jako formální zpracování, co jasné a co ne, co hotové a co ne… Výsledky témat a pokrytí předmětu: doplnění? Redukce? Zastupitelnost? Výsledky formulací a podob indikací, pokud jsou: - jasnost a jednoznačnost? Duplicity a překrývání? Srozumitelnost práce s podkladem? Jazyková zřetelnost? Kulturní blízkost? Celkově - míra shody s předpokladem a dosavadními pracemi na projektu: buďto dodělat, nebo ponechat, nebo předělat… Empirický výzkum Organizace a řízení terénního sběru dat 14 K postupu u kvalitativních šetření Principy postupu jsou shodné: předchozí kroky jsou využitelné s tím, že do hry vstupuje základní charakteristický rys kvalitativních výzkumů, totiž: metodologie i konceptuální východiska výzkumu se často dotvářejí až během výzkumu samotného. Jde o nezbytnou součást samotného kvalitativního výzkumu, protože jde nezřídka o jedinou možnost jak reagovat na změny zjišťované během výzkumu. Z toho vyplývají dva zásadní požadavky na organizaci a řízení terénního sběru dat v kvalitativním výzkumu (ještě výrazněji než u výzkumu kvantitativního): - Zásadní význam dokumentace postupu (proto: nahrávky, dokumentace, protokoly, zápisy, apod.) protože to je součást jednak výzkumné dokumentace a zároveň sama výpověď o zachycované skutečnosti; - Větší potřeba rezerv ve všech směrech (časových, personálních, věcných, finančních…) než u výzkumu kvantitativního, protože během samotného šetření může dojít k výrazným změnám, vyvolaným právě dopracováváním metodiky výzkumu během samotné práce. Samozřejmě je nutné co nejdokonaleji výzkum připravit teoreticky a metodicky. Představa, že kvalitativní výzkum je metodicky vágní je falešná! Empirický výzkum Organizace a řízení terénního sběru dat 15 Příklad postupu přípravy kvalitativního výzkumu: (Všimněte si atributů stručného vymezení předmětu,cíle a základní metody výzkumu) Předchozí kroky přípravy jsou už hotovy! Vyplývá z nich, že jde o : výzkum zaměřený na rodiče, děti a učitele, v oblasti působení rodiny, médií a školy jako socializačních mediátorů; : využití typologické metody pro výběr i pojetí výzkumu – práce v krajních prostředích a s krajnostmi. V tomto případě jde o dvojí typologii, ve vzájemném propojení: periferie a centra (číselník obcí či nižších sídelních celků charakterizující složené índikace, které umožňují rozdělit obce do periferních, regionálních center, semiperiferií a metropolotních), zároveň druhy studia v typologii: - víceletá gymnázia a proti nim základní školy s perspektivou dalšího nevzdělávání; - rodiče vysokoškolsky vzdělaní a proti tomu se základním vzděláním; : práce s takto vybranými focus groups /dostatečný počet od každého typu – celkem devět/; : práce za pomoci kombinace standardizovaných podkladů a nad nimi řízenou diskusi, včetně prokládání bateriemi pro další rozměry posouzení; : prostor vymezený rodiči a učiteli. Vymezení míst sběru Prostřednictvím jiných hledisek a poznatků (analýza periferií a center, kritéria a naplnění těchto kritérií) stanovení variant ve dvou či třech stupních konkretizace; Vyjednání možností se školami; Konkretizace míst a času; Náhradní varianty a jejich náklady. Časový harmonogram Možnosti pro ukončení (pravidlo odpočtu); Odhad trvání jednotlivých FG a počet nutných FG; Cesty výzkumníků; Cesty respondentů; Možnosti objednání prostor (časové, prostorové, vybavením…kamera, nahrávací zařízení, zrcadlo…); Doba zpracování technického (jedna FG, všechny FG); Doba zpracování interpretačního; Kontrolní a sumarizační práce (včetně dokumentace); Prezentace; nezbytné další práce mimo projekt v témže čase; Korektury Definitivní harmonogram. Empirický výzkum Organizace a řízení terénního sběru dat 16 Pokračování příkladu pro kvalitativní výzkum Kalkulace Kalkulace včetně náhradních variant (čas i peníze včetně zaplacení respondentům – u těchto výzkumů se obvykle platí); Jednotka: jedna FG; Řešitelské týmy a jejich náhradníci (časy, sazby za hodinu, cestovné, občerstvení…); Respondenti – počty, rezerva, náklady na 1 (odměna, cestovné, občerstvení); Pronájmy místností, ubytování; Pronájmy či pořízení techniky; Nahrávání, přepisy; Počet lidí („člověkohodiny“) na zpracování a interpretaci; Způsob prezentace (zákazníkovi? Tisková konference? Kniha?...) Celkové náklady a jejich rozložení v čase; Rozložení nákladů a možností financování (cash- flow), včetně vstupu do smlouvy v nutném případě… Stanovení odpovědností za přípravu a realizaci terénního sběru dat a dalších fází Podle předchozího lze sestrojit souhrnný postup (projekt) realizace a zpracování. Každý krok = konkrétní odpovědnost osoby Každý krok = kontrola věcná a „korunou“ Každý krok = postupy posouzení a vyhodnocení úspěšnosti Každý dílčí celek = možnosti odměn či sankcí Konec = přehled o postupu, vyhodnocení a posouzení efektivity (rozprava týmu na téma projektu a jeho realizace.) Zkuste aplikaci na „svůj projekt“…