PSY479 PSYCHOMETRIKA: MĚŘENÍ V
PSYCHOLOGII
KVALITATIVNĚ – KVANTITATIVNÍ KONTINUUM
*Pozor, následující text obsahuje ironické výrazy. Nejsou
určeny k užití v přítomnosti nezaškolených entit.
Kargo kult, český vědecký
Nová Guinea je v antropologických kruzích pověstná
svými kargo kulty.To jsou hnutí inspirovaná náhlou invazí
zázračných konzumních produktů a techniky ze
společností prvního světa, jejichž cílem je získat
k tomuto kargu (z anglického cargo = zboží) rovněž
přístup.Vycházejí z hypotézy, že kargo je původu
nadpřirozeného a je možno ho ze spirituálního světa
vymámit rituálními úkony, stejnými, jaké zjevně
provozují ti šťastlivci, kteří si již přístup ke kargu
zjednali.
Vojtěch Novotný (2000). Kargo kult, český vědecký. Vesmír 79(5), 284.
http://casopis.vesmir.cz/clanek/kargo-kult-cesky-vedecky
Obřad přivolání „karga“
Často citovaným
příkladem jsou imitace
letišť uprostřed pralesa,
na jejichž okraji sedí
domorodci
v improvizované
kontrolní věži s půlkami
kokosových ořechů
coby rádiovými
sluchátky na uších
a očekávají přistávající
letadla, plná karga.
Odmyslíme-li si exotické
povrchnosti typu kokosových
ořechů, zjistíme, že na první
pohled kuriózní kargo kulty
kvetou i u nás. Kdo z výzkumníků
nezná alespoň jednoho kolegu,
který vlastně vědcem vůbec není,
neboť ničemu nerozumí, nicméně
praktikuje všechny rituály
výzkumu, jako je neustálé měření
čehosi a následné publikování
čehosi, nemluvě už o posedávání
u přístrojů, nošení bílého pláště
a poskytování expertiz v naději,
že vědecké objevy se jednoho
dne z čista jasna objeví, tím vším
přivolány?
Teskný osud profesora Gustavilla
V některých oblastech Nové Guineje není
dodnes* mezi kokosovými slupkami a skutečným
rádiem rozdíl, neboť letadla stejně nepřistávají,
a oba přístroje tedy fungují se stejnými výsledky.
Podobně i v nedávno skončené izolaci české
vědy fungovaly kargo publikace v kargo
časopisech, nebo ještě lépe kargo sbornících,
často stejně jako publikace skutečně vědecké,
tedy přinášely tituly, profesní postup a auru
vědeckosti (tu ovšem jenom v jistých kruzích).
*Text byl publikován v roce 2000.
Dovedu si živě představit, jaký společenský
konflikt znamená náhlý přílet letadel do
kargokultických oblastí Nové Guineje.
Najednou se ukáže, že co se léta jevilo jako
docela dobré rádio, je vlastně kokosový
ořech.To se ovšem těžko přiznává, pokud
člověk postavil na kokosovém rádiu celou
svoji kariéru a reputaci.V takovém případě
nastávají ideální podmínky pro vznik
absurdní debaty, zda je kokos rádiem nebo
ne a zda se to vůbec dá poznat a jak.
Hodnocení vědeckého výkonu -
scientometrie
Debata neméně absurdní, vyvěrající z obdobných
zdrojů, probíhá v českých vědeckých kruzích o tom, zda
se vůbec dají měřit a hodnotit výsledky vědecké práce
a jak. Zpochybňování zjevné skutečnosti, že jedna skvělá
práce je lepší než sto průměrných a že důležité práce
se zpravidla objevují ve špičkových časopisech a jsou
zpravidla hojně citovány, zatímco práce bezvýznamné
nikoli, je tak nutno vidět spíše jako zábavný materiál
k eseji o kargo kultech než seriózní příspěvek do vážně
míněné diskuse.
Rozdíl mezi výzkumem a rituálem
Na nejnovější mapě severního pobřeží Nové Guineje,
vytvořené Královskými australskými průzkumnými oddíly, je
na 6° jižní šířky a 147° východní délky zakresleno letiště
Bonkiman, s varovnou poznámkou „kargo letiště,
nepoužitelné“. Piloti mají totiž dobrý důvod rozlišovat mezi
kokosovými ořechy a rádiem, dříve než někde se svým
kargem přistanou. Stejně tak i vědecká obec by si měla dát
dobrý pozor na jemné rozdíly mezi výzkumem a rituálem,
zejména v situacích, kdy jde o distribuci karga. Ostražitost je
na místě, neboť nejeden pracovník české univerzity či
výzkumného ústavu sedí právě teď s kokosáky na uších
a zrakem upřeným toužebně k oblakům...
Richard Feynman: Cargo kulty
 „So we really ought to look into theories that
don't work, and science that isn't science.“
 „I think the educational and psychological
studies I mentioned are examples of what I
would like to call cargo cult science.“
 „The first principle is that you must not fool
yourself--and you are the easiest person to
fool. [...] After you've not fooled yourself, it's
easy not to fool other scientists.You just have
to be honest in a conventional way after
that.“
 Feynman, R. (1974). Cargo Cult Science. Engineering and
Science 37(7), 10-13. Retrieved from
http://calteches.library.caltech.edu/51/2/CargoCult.pdf
Nálepka „VĚDECKOSTi“
 Pět tradičních kriterií „vědeckosti“ procesu poznávání
 Systematický:
 Procesu i myšlenky… popsatelnost, verbalizovatelnost, otevřenost.
 Verifikovatelný:
 Testovatelnost výsledků, nezávislost na autorovi.
 Důsledkem testovatelnosti je …
 Replikovatelný:
 Jako hlavní zdroj podpory, plauzibility.
 „Autokorektivní“ (self-correcting):
 Zjištění z replikačních studií musí mít možnost korigovat stávající teorii,
jsou-li s ní v rozporu.
 Vysvětlující:
 Musí být schopen explanace, buď na úrovni vztahu, nebo kauzality, nebo
účelu.
 Je kauzální výklad skutečně v protikladu s teleologickým?
(Ridenour & Newman, 2008)
Metodologie je
umění klást správné
otázky.
Obřad přivolání karga: plánování výzkumu
(už zase)
problematická
teorie =>
výzkumný
problém
konkrétní
výzkumné
otázky a z
nich vyplývající
hypotézy
konkrétní
empirické
řešení
=> design
designu
adekvátní
interpretace
(teď zrovna)
smysluplná
teorie =
kýžené kargo
 Dodržení návazností
je pro výzkum vitální
– jednotlivá stadia
implikují volby v
dalších krocích
 Obvykle je zcela
nemožné měnit
design během
výzkumu
 Nedodržení nebo
chyba plánu v
jediném bodě může
způsobit naprosté
selhání výzkumu
 Co je vlastně teorie?
„closing the qualitative-quantitative gap“
(Ridenour & Newman, 2008)
Od výzkumného problému k smysluplnému
výsledku
 Role výzkumného designu (plánu):
 Strategie řešení problému -> výzkumný projekt
 Tedy formulace problému implikuje metodologii
 v případě kvantitativních výzkumů musí téměř vždy existovat relativně
konkrétní výzkumný plán před započetím empirického stadia
 jinak nebude kargo!
 Tedy výzkumný plán
 sjednocuje potřeby výzkumného problému s možnostmi empirického
řešení
 stanovuje sekvenci kroků, které k řešení vedou (či alespoň mohou
vést)
 svým zakořeněním v teorii umožňuje adekvátní intepretaci výsledku
Vztah výzkumného problému, výzkumné
otázky a hypotéz
Výzkumný problém Výzkumná otázka a hypotézy
 Vyplývá ze stavu teorie v
určitých podmínkách
 důsledek pnutí mezi teorií a
(např. časem změněnou)
každodenní realitou
 Provázaností se stavem,
podobou teorie implikuje
paradigma (pojmový systém),
v němž bude přetvořen do
výzkumných otázek
 je udržitelná současná
představa o struktuře
inteligence?
 VO: SpecifikaceVP na jevovou
úroveň
 jaká je struktura inteligence? tedy,
jaké dimenze inteligence má smysl
diagnostikovat např. ve vztahu ke
škole?
 Jak je konstruována identita
„někoho“?
 H: SpecifikaceVO na jedno, či sérii
ověřitelných tvrzení (či
gramatických otázek; na formě
nezáleží)
 lze diferencovat verbální a
neverbální faktor inteligence?
 „Doptávání“, exploration in-depth v
kvalitativních designech.
Výsledek řešení sekvence problém -> otázka
-> hypotézy
 Pojmový aparát (paradigma)
 Teoretické konstrukty, použitelné k odvození metod vhodných pro
empirické řešení
 potřebuji změřit spíš interpersonální závislost nebo styl citové vazby?
 záleží spíš na inteligenci nebo školní znalosti/dovednosti?
 Jaké jsou kulturní faktory konstrukce identity?
 Hypotézy (nejen věcná a nulová ☺) implikující vlastní výzkumný design
 potřebuji porovnat skupiny respondentů nebo zjistit vztahy mezi jevy?
 jde o kauzalitu, nebo projev souvisejících charakteristik?
 Nebo teleologický princip?
 Selhání v řešení sekvence způsobí:
 odvození nesmyslného designu, volbu absurdních metod, vznik bezcenných dat a
posledním důsledku selhání při pokusu o výstřel z bambusové pušky (analýza
nepřinese výsledky)
 Snaha o přeskočení sekvence způsobí:
 objev kokosového ořechu (dojde k užití ad hoc metod a analýze banálních dat)
Validita – perspektiva psychometriky vs.
ideografického přístupu
17
 Validita = shoda mezi nástrojem a měřeným rysem; obsahová
charakteristika
 „Validita“ (obdobně jako reliabilita) je pouze souhrnným
pojmem pro velkou skupinu různých zdrojů „důkazů o validitě“
 Nástroj je v nějakém ohledu reliabilní -> tedy něco měří.
(Protože je konzistentní, stabilní, ...) Ale co?
 E. G. Boring „Inteligence je to, co měří test inteligence.“
 Reliabilní metoda tedy nemusí nutně být „validní“.
 Aspekty validity (zdroje důkazů):
 Obsahová: shoda mezi metodou a účelem metody
 face validity, sample validity, factor validity
 Emipirická: shoda mezi testovým skórem (výsledkem) a vnějším
kriteriem
 predictive, concurrent, incremental, differencial
 Je shoda mezi výsledkem měření a „realitou“? Nebo
alespoň mezi metodami?
 Je tedy měření informačně hodnotné?
 Kostruktová: shoda metody (dimenzí metody) s teorií
 Reliabilita je pohled do metody, validita je pohled ven z
metody do teorie.
 VALIDITA svým obsahem téměř zastupuje termín
KVALITA
 NENÍ to jen PRAVDIVOST ZJIŠTĚNÍ
 JE to PLATNOST ZJIŠTĚNÍ vzhledem k tomu, jak
je vymezen předmět a metoda oboru
(paradigma), splnění pravidel hry (průběžně
konstruovaných), ZAČLENITELNOST do
znalostní báze
 VNITŘNÍVALIDITA
 Odpovídají závěry získaným datům a způsobu, jakým
byla získána?
 VNĚJŠÍVALIDITA
 Pro jakou skupinu jevů (lidí) závěry platí?
 Do jaké zkušenostní/znalostní báze zapadají? (Kdo jim
bude ochoten věřit?)
 Platnost závěrů pro populaci, z níž jsme vybírali
vzorek v podmínkách
 Externí validita, generalizability
 Vzorek jevů (lidí)
 Dáno statisticky a argumentačně (teoreticky)
 Platnost pro další skupiny a podmínky
 Ekologická validita, transferability, aplikovatelnost
 Dána argumentačně
 VŽDY NEJISTÁ!
Hledání empirického řešení - design či plán
 Formulované hypotézy implikují design:
 Experiment, quasi-experiment, korelační
přístup,survey, formativní výzkum atd.
 nenechme se utopit ve formálních rozdílech
pojmosloví
 Podstatné je, že dobrá hypotéza jasně
implikuje statistické řešení – z něj vyplývá
design (a ne naopak☺)
 Nelze-li z hypotéz jasně odvodit statistické
řešení, nemá smysl začít sbírat data
 stačí úroveň: t-test nebo korelace,ANOVA
nebo regrese, MANOVA nebo SEM (není
nutno řešit ne/parametričnost metod)
 je nutno znát předpokládanou sílu efektu – z
ní dovozujeme minimální potřebnou velikost
vzorku
 https://www.ai-therapy.com/psychology-
statistics/sample-size-calculator
 Sběr dat bez předběžné znalosti plánu
analýzy je sebevražedný experiment.
Zdaleka ne všechny datové struktury lze
smysluplně (=netriviálně) analyzovat.
 Jak je tomu v kvali- postupech?
 Osobní vědění, vědecké komunity,reálná
výzkumná činnost
 Obrat k jazyku, zájem o jazyk, kulturu a
historii
 Kritika epistemologických základů poznání, tj.
především korespondenční teorie pravdy
 Nahrazení konceptu validity za věrohodnost,
transferabilitu, důvěryhodnost,autenticitu,
spolehlivost, potvrditelnost
 Validita souvisí: s daty, popisy, vysvětleními,
interpretacemi, závěry
 Data sama o sobě nemohou být validní či
invalidní?
Hledání empirického řešení - metody
 Užití metod vyplývá často spíše z otázky, než hypotéz
 Metody v širším smyslu
 pozorování, rozhovor, ankety, dotazníky, testy, analýza artefaktu
 Klasifikovatelné, kvantifikovatelné nebo kvantitativně zpracovatelné jsou
produkty/data téměř jakkékoliv metody, jsou-li získány v adekvátním plánu/designu
 Metody v užším smyslu
 psychodiagnostické metody
 úzké provázání s teorií, problematická přenositelnost mimo původní rámec,
problematika zaškolení a autorských práv
 Bez ohledu na předchozí jsou kritické požadavky na validitu a reliabilitu
 validita: konstruktová, diferenciální, dimenzionální, obsahová (přinejmenším) a indikace
vůči vzorku (vždy)
 reliabilita dle teoretických vlastností měřeného konstruktu
 metody postrádající jedno či obojí produkují náhodná nebo (hůře) systematicky
chybná data. kargo nebude, nic než bambus.
 Metody implikují měřené proměnné. Garbage in, garbage out.
Hledání empirického řešení – vzorek
 Požadavky na vzorek vyplývají z výzkumné otázky a designu
 zohledňujeme přitom možnosti (indikaci) metod k dispozici oproti
nutnosti vytvořit vlastní metodu
 Platí i pro kvali výzkum… pravidla typu „6 je dost“ jsou nesmyslná z
principu
 Náhodné nebo záměrné výběry?
 a jak se to vlastně má k reprezentativnosti?
 CO je zapotřebí reprezentovat?
 a kolikTOHO vlastně má být? (očekáváná síla efektu nebo variabilita?)
 Experimentální designy:
 náhodné výběry, konstrastní skupiny, intra-subject vs. inter-subject, single
case
 Korelační designy:
 reprezenativní a záměrné výběry, kohortové a cross-sectional výběry,
drop-out
 Zvláštní designy – jen při jasném způsobu analýzy!
Dodržení disciplíny sběru dat umožňuje
intepretaci...
 ... a bez intepretace je libovolný výzkum bezcenný. Kdo stojí
jen o čísla nebo deskripci?
 Smysluplná interpretace je možná pouze tehdy,
 dodrželi jsme-li návaznost teorie – empirie, neopustili sekvenci
 neselhalo-li měření / získávání informací
 zvládli jsme-li analýzu / indukci / dedukci
 chápeme-li jasně souvislost mezi změřenými jevy, jejich tabelovaným
popisem (daty), výsledky jejich analýzy a původní teorií
 jinak se jedná o obřad s půlkami kokosových ořechů na uších; typicky
nejčastější místo chyb, dokonce častější než fáze přípravy (ta je často
omluvitelná konvencí); letadla s kargem nepřiletí
 K smysluplné intepretaci patří i reflexe slabin výzkumu
 Dobrá zpráva o výzkumu není success story, ale upřímný
odborný text. Bez ohledu na to, zda je kvali-, nebo kvanti-.
Kval.výzkum: Teoretická východiska validity
▪ Osobní vědění, vědecké komunity, reálná výzkumná
činnost
▪ Obrat k jazyku, zájem o jazyk, kulturu a historii
▪ Nahrazení konceptu validity za věrohodnost,
transferabilitu, důvěryhodnost, autenticitu, spolehlivost,
potvrditelnost
▪ Validita souvisí: s daty, popisy, vysvětleními,
interpretacemi, závěry
▪ Data sama o sobě nemohou být validní či invalidní
APLIKOVATELNOST, LEGITIMITA
„Aplikovatelnost“ na příjemce. Kvalita psaní.
Podstata, legitimita autority.
❖ AKČNÍV. - důraz na ohlas, dopad publikace.
❖ SITUOVANÁV. – opak neosobnosti - přítomnost osobnosti,
emocí, reflexe
❖ RHIZOMATICKÁV. – přítomnost různých perspektiv
❖ IRONICKÁV. – nabádání čtenářů k reinterpretaci
❖ …
Publikací výzkumný projekt začíná….
Druhy validity I
Deskriptivní validita:
▪ Primární deskriptivní validita: co výzkumník viděl,
slyšel (cítil, dotýkal se)
▪ Sekundární deskriptivní v.: záznam toho, co je
pozorovatelné, ale vyvozeno z jiných dat
(záznamů,výzkumník nebyl přítomen)
▪ Data mohou být vytvořena jako určitý druh deskripce
na velmi nízké úrovni abstrakce
Druhy validity I
Interpretační validita
▪ Význam objektů, událostí a chování pro lidi,
kteří jsou aktéry – perspektiva participanta –
zakotvena v konceptech světa, jazyce
účastníků.
▪ Vždy je konstruována výzkumníkem na
základě vyprávění participanta a jiné evidence
(experience-near validity)
Druhy validity I
Teoretická validita
▪ Jde za konkrétní deskripci a interpretaci
▪ Teoretické porozumění je funkcí výkladu, popisu a
interpretace
▪ Teorie určitého jevu: koncepty a vztahy mezi nimi, tj.
validita výstavby modelu a v.způsobu propojení
dílčích bloků modelu – tj. teorie
Posilování validity v kvalitativním
výzkumu (a)
1. Prolongované setrvání na místě výzkumu
2. Stálost (konsistence) pozorovaného
3. Triangulace
4. Hodnocení od kolegů
5. Analýza negativního případu
6. Referenční dokumentace
7. Kontrola členy zkoumané skupiny
8. Zahuštěná deskripce
9. Překrývání metod
10. Stupňovitá replikace
11. Nezávislý audit
12. Deníkové záznamy reflexí
13. Vytváření teoretického vzorku
14. Strukturální vztahy