Výzkumný design
Mgr. Ondřej Hora, Ph.D.
VPL590 Kvantitativní výzkum
     (jarní semestr 2019)
1

•Co to je výzkumný design [dizajn]?
•
•Výzkum je často komplexní a náročný úkol – musíme učinit mnoho rozhodnutí (Marczyk et al. 2005).
•Výzkumný design je logická struktura výzkumu – předběžný výzkumný plán. Odpovídá nám na otázku co,
proč a jak budeme zkoumat.
•Vychází z cílů výzkumu + technických znalostí metodologie a dohod (zvyklostí) v sociálních vědách.
•Obsahové hledisko: co (a proč) chcete zjistit (měření konceptů)
•Procesní hledisko: jak to zjistíte (koho – charakteristiky zkoumaných osob) a kdy (v jakých
obdobích)
•
•Instrumentální hlediska uplatnění výzkumného designu jsou:
•výzkumná relevance: zajistit, že získaná data nám pomohou co nejlépe (nejvíce jednoznačně,
průkazně) odpovědět na položenou výzkumnou otázku. Je náš výzkumný design vhodný pro dosažení
potřebných výzkumných výsledků?
•kontrola logické struktury: naše záměry tvoří konzistentní logický celek.
•formalizace, transparentnost: umožnit seznámení publika s naším výzkumným plánem (hodnotící komise
projektů, vedoucí diplomových prací)
•
•
•
•
•
•
•
•
•
2

•Procesní plán výzkumu:
•Příprava designu výzkumu je jedním z kroků teoretické přípravy výzkumu (kroky se mohou částečně
prolínat).
•
•
1)
•
•
3

•A) Stanovení cílů, výzkumné otázky
•
•Design výzkumu musí vycházet z jasně specifikovaného poznávacího cíle (nestačí téma výzkumu nebo
přecházení mezi více neurčitými variantami)
•Přemýšlíme nad designem výzkumu už při vytvoření cílů výzkumu.
•Design je o předpovídání toho co bude ve výzkumu – v úvodní fázi výzkumu je to předběžný plán.
•Možná na naše otázky lépe odpoví kvalitativní výzkum.
•Do jaké míry musím určit design již na začátku výzkumu?
•Cíle musí být meritorně zjistitelné a vyzkoumatelné způsoby, které má výzkumník potenciálně k
dispozici (proveditelnost).
•
•„Muže stojícího na rohu ulice chrání otevřený deštník před padajícími slony“.
•(Neuman 2007)
•
•Rizika v počáteční fázi výzkumu:
•příliš jednoduché otázky,
•nevyzkoumatelné otázky,
•příliš náročné otázky (proveditelnost),
•vysoká očekávání o kvantitě a kvalitě zjištění (méně je někdy více).
•
•
•
4

•
•Typy výzkumu (Singleton a Straits 1999)
•
•
•1) průzkumný (exploratory)
•vhodný pro oblasti, o kterých víme velmi málo
•spíše kvalitativní výzkum
•otevřené otázky nebo možnost jiné odpovědi (i v dotazníku)
•
•2) popisný (descriptive)
•vysoká vstupní strukturace dat jako základ popisu
•mohu sledovat počty, zastoupení kategorií, míry
•Popis je často významný např. z hlediska rozhodování v sociální politice (každoroční měření míry
chudoby, sčítání bezdomovců).
•Může pomoci překonat zažitá, ale nepodložená očekávání o tom, jak věci jsou.
•Dobrá deskripce je základem pro vysvětlující výzkum (např. pozorujeme rozdíly mezi kategoriemi,
která stojí za to vysvětlit).
•
•Mohou sloužit k dovození hypotéz =) teorie na základě pozorování.
•
5

•3) vysvětlující (explanatory)
•Zaměřuje se na otázku proč.
•Ověřování (testování) teorie – začíná teorií, která určuje, co budeme pozorovat. Teorie či
hypotéza musí být testovatelná. Jsme kritičtí a testujeme také alternativní hypotézy.
•K vysvětlení v kvantitativním výzkumu zpravidla hledáme souvislost mezi proměnnými (můžeme
předpokládat kauzalitu).
•Ne vždy ale nalezená souvislost říká dostatek informací o existenci nebo směru vztahu.
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
6
Wilhelm Windelband (1894)
Nomothetické vysvětlení
málo faktorů u více (mnoha) případů → obecná pravidla
Idiographické vysvětlení
pokud možno všechny faktory u jediného případu
George a Bennett (1997)
Factor centric
Jde nám o jeden či několik klíčových faktorů (nakolik tyto působí na závislou proměnnou)
Outcome centric
Jde nám o vysvětlení závislé proměnné (co vše má vliv na závislou proměnnou)

•B) Definice základních pojmů, konceptualizace a operacionalizace
•
•Odpovídá na otázku, co chceme zkoumat (součástí designu je jasný plán).
•Konceptualizace specifikuje smysl/význam konceptů a proměnných, které studujeme (Babbie 2010).
•Od konceptu ke konstruktu a operační definici (Black)
•(a) cílem je jednoznačné vymezení – definice základních pojmů (konceptů), které mohou být chápány
různě (jak to chápu já).
•(b) cílem je zpřesnění silně abstraktních konceptů = dimenze či aspekty konceptu, problému
•(c) vymezení očekávaných vztahů mezi koncepty
•= konceptualizace.
•je zpravidla založená na literatuře dostupné k tématu, různé přístupy se mohou zaměřovat na různé
aspekty, předchozí výzkumy na stejné téma…navázat na předchozí výzkum, nedělat to samé, pokud
nechci (Marczyk et al. 2005)
•může vést k tvorbě konceptuálního schématu, konceptuálního rámce (teoreticky vymezené představě o
problému). V teoreticko-empirické rovině to může představovat model.
•můžeme potřebovat také data, která s naším problémem zdánlivě nesouvisejí (testování
alternativních hypotéz)
•
7

•
•Operacionalizace říká, jak budeme měřit proměnné, které studujeme (Babbie 2010).
•proměnné – mají v sobě více kategorii, které se nejčastěji vzájemně vylučují (pozor na hraniční
kategorie)
•někdy lze fixovat jednu variantu pro specifický výzkumný účel – např. zkoumám jen ženy (konstanta)
•role proměnných: nezávislé proměnné (vysvětlující, prediktory) a závislé proměnné
•důležité je nakolik proměnné reprezentují zkoumané koncepty, velká mezera mezi konceptem a
indikátorem může ohrozit validitu měření
•je důležité standardizovat a zdokumentovat proces a výsledek (pro porozumění, pro možnost
replikace) (Neuman 2007)
•
•Rizika: špatně položené otázky, vynechané (zapomenuté) proměnné
•
•Příklady volně podle De Vaus (Research Design), blahobyt dětí, příčiny vyšší rozvodovosti.
•
•
•
•
8

•
KONCEPT1
9

•
KONCEPT1
10
Vysvětlení příčin rozvodovosti

•Tvorba designu výzkumu (3 základní otázky)
•
•Co a koho chceme zkoumat?
•Výzkumná jednotka (unit of analysis) = koho se výzkumník ptá.
•Základní výzkumnou jednotkou mohou být jednotlivé osoby nebo kategorie (Singleton a Strais 1999).
•V sociálních vědách často zkoumáme lidi (populace, skupiny, jednotlivce), instituce (organizace)
nebo např. dokumenty.
•O kom (o čem) chceme učinit závěry?
•
•
•
•
•
•
•
•
•
•nemusí být totožné. respondenti = lidé s anorexií, informanti = lékaři / situace rodiny přes
jediného informanta.
11
Kategorie
Otázka
Příklad
předmět zájmu
co chceme zkoumat?
anorexie
u koho se vyskytuje
čí vlastnost zkoumáme?
lidé s anorexií, lidé ohrožení anorexií
jednotka zjišťování
u koho to zkoumáme?
lékař

•
•
•Co a koho chceme zkoumat?
•
•Někdy potřebujeme zkoumat právě i ty osoby, u kterých se náš předmět zkoumání nevyskytuje (tzv.
srovnávací rámec = děti z rozvedených a nerozvedených rodin)
•Určím taková kritéria výběru, abych dosáhl svého poznávacího cíle (např. pohlaví, věk, rozvod
rodičů…). Odlišil ty, které chceme zkoumat od těch, které zkoumat nechceme.
•Musíme určit metodu zařazení jednotlivých případů do výzkumného vzorku či do jednotlivých skupin
výzkumného vzorku (náhodný a/nebo záměrný výběr?).
•
•Kde to chceme zkoumat?
•Geografické vymezení (konkrétní město, čtvrť, celá ČR, firma…)
•Též jako nalezení místa, kde bude možné výzkum provést (Alexander a Solomon 2006)
•Význam kulturních aspektů (komparativní výzkum)
•
12

•
•Kdy, jak dlouho, kolikrát to chceme zkoumat?
•
•Určení časových bodů (hranic) pro výzkum (kolik a kdy)
•V některých případech nestačí k průkaznosti výsledků zkoumat v jednom časovém bodě (může být
potřeba i více než dva)
•…zda moje výzkumná otázka vyžaduje opakované šetření
•Stanovujeme období mezi časovými body (nějaká událost, uběhlo dostatek času), v některých
případech kontinuální měření
•Některé modely kvantitativního výzkumu využívají sledování „trvání“. Tj. je měřena délka času do
určité události.
•
•Jaká byla míra chudoby dětí v ČR v roce 2014?
•Jak se změnila míra chudoby dětí v ČR v letech 2004 až 2014?
•Jak dlouho trvalo, než si nezaměstnaní našli práci?
•
•Výsledný design je kombinací tří výše uvedených hledisek.
13

•D) Výzkumné metody
•
•Jakým způsobem to chceme zkoumat?
•
•Zpravidla volíme přístup podle povahy výzkumného problému.
•Někdy je mylně zaměňován a) design a b) výzkumná metoda nebo technika (případně způsob odhadu
dopadu).
•Vlastně se jedná o způsob před-přípravy dat.
•Např. jeden design a pak regresní analýza či prosté srovnání průměrů.
•V jednom výzkumném designu může být využito i více metod a technik (pak hovoříme o smíšeném
designu)
•Vztah mezi designem, metodou, technikou analýzy a výsledky. Často se očekává vliv designu na
výsledek – zvláště v hodnocení programů (očekávání, že lepší design zlepší důvěryhodnost výsledků).
•
•Důležitá jsou dvě základní kritéria „platnosti“ výsledků = validita a reliabilita.
•
•
•
14

•5) Plánování realizace výzkumu a realizovatelnost
•
•Netýká se již přímo designu, ale je dobré také zvážit:
•
•Konkrétní postup, jak to uděláme (výběr vzorku, kdy bude realizováno, tvoříme časový plán)
•Praktické aspekty výzkumu (realizovatelnost) z hlediska:
• a) času, časové náročnosti
• b) finančních prostředků
• c) personálních kapacit
• d) etických aspektů
• e) dosažitelnosti subjektů
• f) povolení a jiných legálních povinností
•Musíme to všechno propojit (vrátit se ke všem předchozím bodům)
•
•V praxi často problémy realizovat + dodržet design (problém „fidelity“) zvláště u ambiciózních
projektů – např. realizátoři nedělají, jak bylo naplánováno, neočekávané okolnosti, nízká
návratnost dotazníků, nedodržení termínů sběru dat (Alexander a Solomon 2006)
•
•
•
15

•Různé typy výzkumných designu
•
•Základní hledisko: experimentální/neexperimentální (též field research)
•
•Teorie sociální vědy vymezuje těchto pět základních typů designu kvantitativního výzkumu:
•
•experimentální a kvazi-experimentální
•průřezový (cross-sectional) – např. survey
•longitudinální – např. kohortní a panelový
•případová studie
•srovnávací (komparativní)
•
•V některých případech v praxi jsou výzkumy na pomezí dvou výzkumných designu.
•
16

•Diagram znázornění výzkumného designu
•
•Vyjadřuje grafické znázornění konkrétního výzkumného designu za pomoci značek či schémat.
•To je významné, pokud je výzkum složitější (např. probíhá ve více obdobích, obsahuje více skupin).
•
•Zpravidla může obsahovat informace:
•
•
•
O věcech, které zkoumáme
X = intervence (důležitá je kontrola nad x)
O tom, koho zkoumáme
R1, R2, R3, R4 = definice skupin
O čase a místě, kde to zkoumáme
O1, O2, O3, O4, O5, O6 = měření
17

•průřezový (cross-sectional) design
•
•zkoumá více případů (zajímá se o varianci v proměnných): zpravidla stovky a více případů (až např.
i milion případů)
•výzkumný vzorek zpravidla není dopředu rozdělen na skupiny
•probíhá v jednom časovém bodě (krátkém období z důvodu sběru dat – trvá i měsíce) – zpravidla
chceme krátké období.
•dotazníky: využívá zpravidla (ne vždy) kvantifikovatelných odpovědí (odpovědi jsou zpravidla
předdefinovány jako jednoznačné a ohraničené a mohou být proto převedeny na čísla a v této formě
zaznamenány)
•může využívat více výzkumných metod (tj. nejen dotazník, ale také údaje či statistiky,
standardizované rozhovory…)
•přikládá význam rozdílu mezi variantami odpovědí (popisuje)
•analýza může hledat souvislosti mezi proměnnými jen v jednom časovém bodě
•
•
18

•
•
D1
19

•Výhody a rizika průřezového designu
•
•+ jednoduchý design
•+ lze nejsnáze usilovat o reprezentativnost (zobecnitelnost na populaci)
•+ je to levný design (a přesto může být drahý, protože zpravidla chceme poměrně velký a
reprezentativní vzorek)
•
-nevidíme vývoj v čase
-může být někdy i citlivý na období sběru dat
-problém stanovaní kauzality (vidíme jen souvislost)
•
•
•
20

•longitudinální design
•
•je podobný průřezovému designu
•výzkumný vzorek zpravidla není dopředu rozdělen na skupiny
•sleduje (dotazuje) respondenty ve více ohraničených časových obdobích –zpravidla ve více než dvou
z důvodu možných výkyvů.
•speciální typ je retrospektivní design (otázky na minulost).
•může sledovat vývoj jevu nebo efekt konkrétní události (situace před a po události)
•trendová studie = opakovaná průřezová studie (není vlastně longitudinální). Pokud je
reprezentativní, můžeme sledovat vývoj v populaci.
•panelová studie se zaměřuje na náhodně (ne nahodile!) vybranou skupinu respondentů, kterou
dlouhodobě sleduje
•kohortní studie se zaměřuje na časově ohraničenou skupinu respondentů, kterou dlouhodobě sleduje
(vývoj dětí, osudy nezaměstnaných v evidenci od 1. 1. 2011).
-
21

•
D1
22

•Výhody a rizika longitudinálního designu
•
•+ Umožňuje dlouhodobě sledovat konkrétní respondenty
•+ Umožňuje sledovat vývoj (trend)
•+ V určitých případech tak můžeme lépe prokázat kauzalitu
•+ Umožňuje odlišit vliv věku (od narození), času (period = kdy je pozorováno) a kohorty (skupina
lidí narozených ve stejném období).
-
-vyžaduje dobrou přípravu a zkušenost výzkumníka (mít plán)
-problém tzv. „úmrtnosti“ (odchodu respondentů), dochází ke zmenšování vzorku, není možné
kontrolovat (ovlivnit) úmrtnost (kdo odchází), je problém potřeby velké počáteční velikosti vzorku
-v některých typech se v průběhu mění vzorek (migruje, záleží na tom kdo odejde…)
-cena a náročnost (není příliš často využíván)
-dlouhodobé sledování může mít vliv na respondenty (chybí kontrolní skupina)
-oddělení výše uvedených (V+T+C) vlivů je značně náročné.
-
23

•srovnávací (komparativní) design
•
•zkoumá více než jeden „případ“ stejnou metodou
•dobře definované případy, zpravidla komplexní povahy (např. státy, sektory národního hospodářství,
organizace, kultury…)
•jsou stanovena teoreticky zdůvodněná kritéria pro srovnávání
•zaměřuje se na rozdíly nebo podobnosti mezi jednotlivými případy
•neočekáváme (nevyžadujeme) shodnost srovnávaných případů
•počet případů je omezen možností vzájemného srovnání
•výběr případů je zpravidla zdůvodněn teoretickými argumenty
•může být kvantitativní (též sekundární analýza) i kvalitativní
•
-
24

•
D5
25

•Výhody a rizika srovnávacího designu
•
•+   může se více komplexně zaměřit na jednotlivé případy
•+ umožňuje identifikovat specifika jednotlivých případů (čím se odlišují)
•+ je možné provést srovnání ve smyslu více či lepší (benchmarking)
•+   umožňuje na základě srovnání skupin testovat hypotézy
-
-někdy je obtížné říci, co rozdíly znamenají
-srovnání více případů může vést ke zjednodušení (přílišná generalizace, zaměření na jeden faktor…)
-riziko srovnávání nesrovnatelného (např. nejistota, zda data z jednotlivých zemí ukazují ty samé
indikátory stejně měřené)
-riziko realizovatelnosti / opakovatelnosti výzkumu v různých zemích (jazyková bariéra, jiní
výzkumníci, ztraceno v překladu, lidé to v jiné kultuře jinak chápou…)
-může být nákladný
-
-
26

•Experimentální design
•
•je považován za „otce výzkumů“
•je zřejmě nejsložitější (obsah, identifikační podmínky, realizace)
•Zabývá se vztahem jedné či více nezávislých okolností (proměnných) k závislé okolnosti (proměnné)
= předmětu našeho zájmu
•Nezávisle proměnné jsou záměrně uzpůsobovány tak, aby došlo k rozdílům v konkrétních okolnostech
(např. intervence)
•Rozdělení sledovaných subjektů na více skupin, které se vzájemně liší minimálně v jedné okolnosti
(jde o srovnání skupin).
•Členové skupin jsou vybráni náhodně (shoda i ve skrytých charakteristikách)
•Zpravidla dochází k minimálně dvěma měřením (pre-test, post-test), může být i složitější = více
měření, více skupin, více následných intervencí).
•Často jde o ověření určité konkrétní okolnosti (např. efekt programu APZ, vzdělávacího programu
pro děti) + řeší kontra faktuální otázku.
•Snaha snížit či eliminovat vliv nezáměrných okolností (skrytých proměnných), které by mohly mít
vliv na výsledek programu. Vycházíme z předpokladu, že pokud všechny ostatní podmínky zůstaly
stejné, pak vzniklé rozdíly můžeme připsat jediné změněné okolnosti.
•Na počátku 20. století rozmach experimentů v laboratorních podmínkách. Později ústup experimentu
pro obtížnou proveditelnost a náklady.
•
27

•
•
D3
28

•Kvazi-experimentální design
•
•je obdobou experimentálního designu, ale …
•zaměřuje se zpravidla na situace reálného života (během programu nebo po programu), typicky je
využíván např. ve veřejné politice v evaluačním výzkumu.
•opět je zde kontra-faktuální problém
•je obtížné ustanovit vhodnou kontrolní (srovnávací) skupinu
•obě skupiny (účastníci / neúčastníci) často nemohou být nebo nebyly vybrány náhodně (to ohrožuje
validitu neboť zde problém chyby selekce = skupiny nejsou shodné)
•proto snaha využít statistické techniky dodatečné úpravy dat: např. tzv. párování tj. srovnávání
osob s podobnými charakteristikami (např. žena, 50 let, základní vzdělání, bez zdravotních
problémů….)
•roli pak hrají faktory, které způsobují jak přiřazení do programu, tak výsledek programu
•Různé dílčí designy: Before After Estimator (BAE), cross sectional comparison (post test only),
Difference in differences (DID) Estimator.
•Zásadní riziko neměřených proměnných (neznámý vliv).
29

•Výhody a rizika experimentálního a kvazi-experimentálního designu
•
•+  měření ve více skupinách a ve více časových bodech (předpoklady)
•+  u pravého experimentu je očekávána vysoká vnitřní validita
•+  výzkumník má vysokou kontrolu nad výzkumem
•
-obtížný na realizaci (není příliš často používán)
-přestože výzkumník může usilovat o náhodný vzorek, je problém auto selekce a motivace k účasti na
výzkumu
-je vysokou mírou zásahem do života osob (vyvolává etické otázky např. v sociální oblasti problém
poskytnutí i neposkytnutí intervence)
-zobecnitelnost na mimo experimentální podmínky (vnější validita), mimo experimentální prostředí
mohou působit jiné faktory
-u kvazi-experimentálního často náročné podmínky (předpoklady) pro platnost. Riziko též
nedostatečná kvalita dat, chyby ve vyhodnocení.
•
30

•případová studie
•
•intenzivně a detailně sleduje jediný případ (osobu, komunitu, školu, pracovní organizaci, událost)
•kritický je výběr případu a jeho zdůvodnění
•zaměřuje se na jedinečné vlastnosti případu
•může se zaměřovat také na kontext případu (shodný v rámci případu)
•může být využita pro testování teoretických předpokladů
•může být kvalitativní (častěji) ale i kvantitativní (zkoumání velké firmy, vesnice)
•může mít blízko k průřezovému designu pokud volí větší počet jednotek zjišťování (nezaměstnanost v
Marienthalu 1933)
•může být i longitudinální
•
-
31

•
-
D4
32

•Výhody a rizika designu případové studie
•
•+ umožňuje získat poznatky pro některé typy problémů – např. personalistika, veřejná správa = brát
v úvahu specifické podmínky
•+ může pracovat s předpokladem homogenity
•+   umožňuje získat větší bohatost informací
•+ umožňuje být přímo při tom (akční výzkum)
•
•- omezení počtu případů (variabilita??)
-obtížná zobecnitelnost
-etické otázky (problém s anonymitou)
•
-
33

•Méně využívané designy
•Přirozený experiment – situace nevznikla z důvodu výzkumu, ale z přirozených důvodů (sám od sebe).
• Př. 1: kmen Cherokee vytvořili kasino, výtěžek šel na chudé rodiny – otázka: Zlepší se mentální
zdraví dětí?
• Př. 2: třída pro neslyšící děti, které se neučily znakovou řeč – jak se budou dorozumívat?
• Př. 3: změna parametrů sociálních dávek (zkrácení podpora v nez.).
•Case control study – známe výsledek. Ti komu nastal (chtěný/nechtěný) výsledek jsou porovnáváni s
těmi u koho nenastal (retrospektivní). Je využíváno opět díky přirozeným podmínkám (např. v
lékařství, příčiny vzácných nemocí, za jakých podmínek dochází k nehodám na přechodech pro chodce).
•Meta analýza – základní jednotkou je jiný výzkum. Snaží se různými (statistickými) způsoby
vytvořit souhrnnou informaci o určité oblasti předchozího výzkumu (co se ví o souvislosti mezi
spokojeností a fluktuací, dopadech APZ…).
-
34

•Hlediska užitečná pro volbu konkrétního designu
•míra naplnění poznávacího cíle: volím takový design, který s nejmenším úsilím dostatečně
jednoznačně a validně odpoví na poznávací cíl
•dostupnost dat, časové a finanční nároky: nejjednodušší a nejlevnější
•přenositelnost poznatků: možnost zobecnění mimo výzkumný vzorek – proto takový zájem o
reprezentativní výzkum (některé designy lépe umožňují)
•dynamická povaha výzkumného problému: potřebuji sledovat vývoj jevu v čase?
•opakovatelnost: otázka, zda lze výzkum vůbec zopakovat (problém specifické situace)
•kauzalita: potřebuji usuzovat o kauzalitě? Pokud je důležitý směr vztahu (příklad CSR a ekonomická
výkonost firmy) či pokud potřebuji hodnotit vliv (dopad programu na účastníky)
•schopnost designů řešit hrozby interní validity (viz Disman 2005)
•proveditelnost: identifikační podmínky (předpoklady) pro jednotlivé designy, riziko „zhroucení“
výzkumu (fidelity)
•etická stránka: neposkytnutí pomoci, narušování soukromí respondentů
•
35

•Typy kontrolních otázek pro téma výzkumné designy
•
•Definice výzkumného designu: co to je, k čemu to je, z jakých prvků se skládá?
•Rozpoznání výzkumného designu: z textu poznat, o jaký výzkumný design se jedná.
•Popis konkrétního výzkumného designu: popište design případové studie.
•Srovnání dvou výzkumných designu: typicky např. průřezový – longitudinální, experimentální –
kvazi-experimentální.
•Volba výzkumného designu: vzhledem ke konkrétnímu výzkumnému problému/výzkumné otázce.
•Návrh výzkumného designu: návrh konkrétních prvků výzkumného designu vzhledem k výzkumnému
problému/výzkumné otázce.
36

•Literatura a zdroje:
•
•Babbie, E. R. (2010). The practice of social research. Belmont, CA : Wadsworth.
•Blaikie, N. (2000). Designing social research: the logic of anticipation. Cambridge: Polity Press
•Bryman, A. (2008). Social Research Methods. Oxford: Oxford University Press.
•De Vaus (2001). Research Design in Social Research. London: Sage.
•Singleton, R., Straits, B. (1999). Approaches to Social Research. Oxford: Oxford University Press.
•
•
37