Online surveys in PM Cb1122 M odern Research Technologies in SocialScience Michal Tóth Fall 2024 Why online survey? PROS • Cost (but depends on parameters ‐ e.g. repre‐sample requirement, collection through an agency ‐ who will program the questionnaire?) • Speed of data collection (distribution of questionnaires and collection of responses) • Easy implementation (does not require knowledge of programming languages) • Easier survey management (respondents, invitations, data... ) • Flexibility and advanced options ‐ display logic, randomization, ... • Acquisition of specific data (time and exact time of answering, location, stimulus viewing time, ...) • Interactivity, multimedia content • More "freedom" for the respondent (time, place, device, ...) • It mitigates the problem of "social desirability" (racism, alcohol consumption, child raising, ...) • Greater (sense of) anonymity • Possibility to use pre‐made templates Why online survey? CONS • requires a certain level of „computer literacy“ • more problematic accessibility for some segments of the population (elderly,  marginalised areas, ...) • cost (license, collection via agency) • less control over respondents (early termination, who is really responding?) • we have no control over the context in which the respondent is (questions about  current feelings ‐ cold/stress/sadness, ...) Before you start creating a online survey ... First steps: • be clear about what you want to find out, and how you want to find it out: • what concept you are going to measure, and what dimensions it may have (e.g. "job  satisfaction" ‐ dimensions ‐ satisfaction with salary, satisfaction with supervisor, satisfaction  with working conditions, ...) • think about what a question should look like (wording) to find out exactly what you want • what type of data do you want to get? (be clear in advance how you will analyse it) • who will be your respondents? Survey design: order of the questions • inappropriately chosen → confusion of respondent, early dropout, impact on other responses... • grouping into logical subgroups (Q: „Blocks“) • recommendation • start with the simplest or most interesting questions • do not start with sensi ve (possibly private) ques ons → in the middle of the ques onnaire (higher  motivation to answer them) or towards the end • demographic questions (age, gender, income, ...) at the end (exception! ‐ quota setting, filtering) • note that: • the order of the questions can influence the answers • E.g.: if we first ask about satisfaction in some specific area of life (work), then this may affect the  answers to general questions about satisfaction (life as such) • Priming – influencing a response by inducing an unrelated thoughts: • How much do you like French food? • What are your three favorite holiday destinations? Survey design: order/number of the answers • a tendency to choose the answers that are „closest“ (vizuálne) • unclear/challenging questions • a number of similar answer choices • e.g. finding out what makes people anxious: • fear of death,  • disease,  • fear of job loss, • nasty weather, • debts,...  • other solution options: multiple‐choice answers, open‐ended  answers, .. Question construction I. As simple as possible • Concise, simple language, BUT (!) without unclear and abstract terms • „Do you support or oppose a systematic reform of immigration policy that would allow  government agencies to administer the visa permitting process more efficiently and strengthen  current legislative settings?“ (is it clear after the first reading?) • „How important are family values to you?“ („values“ are too abstract) Question construction II. As specific as possible • All respondents should understand the question in the same way • „When did you move to Brno?“ ( unclear type of answer ‐ after high school/when I was 20 years old/ 2024, ... ) • „Are you an early bird?“ ("If you look back over the last seven days, what time do you used to get up in the morning?") Beware of "double‐barreled" questions • two questions in one, respondent can't/won't answer one part of the question • „Are family reunions important to you and your family?“ (two questions) • „Do you consider the death penalty to be a historical relic, and do you think it should be banned  worldwide?“ (two questions, expecting the same answer) Question construction III. Avoid: o shortcuts/abbrevations (less known) • „What is your opinion on the effectiveness of policies implemented by the ECHR within the framework of the SGP?“ (ECHR = European Court of Human Rights, SGP = Stability and Growth Pact) o jargon • „Do you think the new health policy will reduce red tape in hospitals?“ (red tape = excessive bureaucracy or complicated regulations) o leading questions: • „How short was Napoleon?“ • „How would you describe Napoleon’s height?“ o double negatives •„Do you disagree that the government's policy is  not ineffective in reducing unemployment? “ • „Do you agree that the government's policy is  effective in reducing unemployment?“ o expecting unrealistic answers •"How many cigarettes have you smoked in your entire life?" What type of answers do we expect? • It depends on what we want to find out = what our research question and  hypotheses are, and how we want to analyze the data • Closed questions – the respondent chooses from predefined options • easily quantifiable (strongly agree = 1, agree =  2, neither agree nor  disagree = 3, disagree =  4, ... )  • ready for statistical analysis • faster data collection • results can be easily summarised and presented graphically • higher reliability across respondents • higher level of anonymity   • Open‐ended questions – the respondent answers in his/her own words • the respondent is not limited in his/her response • easier to create • unlike some types of closed questions, they are easier for the respondent  to understand • extend the completion time • require more effort from the respondent Closed questions I. Multiple choice • respondent chooses one or more answers from a prepared list (single  answer/multiple answer) • Single answer (select) • the categories offered must be clear and mutually exclusive (non‐overlapping) • Multiple answer (select) Closed questions II. Scales • the set of responses representing each position on the continuous axis • Rating scales • form of multiple‐choice questions • the respondent selects one option from continuously sorted categories • "How often are you late for work?" 1) Very often (almost daily) 2) Often (twice a week) 3)  Sometimes (once a week) 4) Rarely (once a month) 5) Never • Rank order scales • the respondent ranks the offered categories according to the selected criterion Closed questions III. • Likert scale • When exploring attitudes and opinions on topics, objects, ... • Expressing agreement/disagreement with statements by  selecting from a range of responses • range of answers from one extrem attitude to another ("strongly disagree", through neutral point to "strongly  agree„) • Each answer on the scale represents a numerical score • Question of scale length ‐ 5/7/9 ? • Semantic differential • measure attitudes or feelings toward specific  concepts,objects, products, or events • rating on a scale between two opposite adjectives • helps determine how positively or negatively the concept is  perceived more precise  measurement Design/structure of the online survey • „scrolling“ vs. „page“ design: • scrolling design(similar to a paper questionnaire) : • all questions on one screen ‐ the respondent has to scroll • it does not save the answers continuously! (only after all questions have been  answered) • more suitable for short questionnaires • only if display logic is not used (no filter queries) • can be confusing for the respondent • omission of the answer is more common • page design • just one or a few questions on the screen (no scrolling required) • responses are saved on an ongoing basis (the questionnaire can be completed later) • more interactive and dynamic (randomization, skipping questions, filtering, ...) • the respondent does not know the length of the questionnaire or the questions that  will follow Response rate of the online survey • key aspect: low response rate compromise representativeness (and the research  itself) • factors influencing response rate: • appearance (design)  • readable colours/images/backgrounds/fonts • comatible design (different platforms/devices ‐ computers, tablets,  smartphones) • the wording, structure and order of the questions • length • the longer, the less willing to answer (inform at the beginning, truthfully!) • be careful not to make the respondent tired • break up the survey into sections (questions organised in distinct categories) • use various question types (e.g., mix of multiple‐choice, sliders, open‐ended)  – keep the survey dynamic • use engaging visuals – visually appearing • progess indicator – yes/no? motivating/demotivating? • back button – yes/no? Online surveys and ethics • TRANSPARENCY • clearly and shortly communicate the purpose of the survey (but do not reveal everything! – i.e.  experiment) • truthful (even if lying should increase the willingness to answer) • welcome screen • the majority of  respondents who do not complete the survey stop answering it right here! • what should be on it? • who you are • what the survey is about (do not disclose the main purpose!) • estimated completion time • (informed consent) • ANONYMITY and CONFIDENTIALITY • guarantee that responses cannot be traced back to individual participants (possible fear of obtaining  an IP address) • ensure that the respondents' personal data and responses are kept confidential and stored securely • VOLUNTARY PARTICIPATION and RIGHT TO WITHDRAW • can stop participating in the survey at any time • be mindful of features like forced responses (possibility to leave uncomfortable questions?) • creation of advanced online questionnaires/surveys • user‐friendly interface • many functionalities and customization (display and survey logic, branching, quotas,  distribution and collection, ...) • security and compliance (high‐level security and data protection, compliance with GDPR) • unlimited licence available • remote access Let's try it practically!