Michal Krcal Department of Corporate Economics 29. 4. 2019 Ex-post evaluation 29.4.2019 1/35 fable of contents Opakování Michal Krčál (KPH ESF MU) Ex-post evaluation 29.4.2019 2/35 Opakování Hodnocení informačních systémů ► Časová osa - jde o kontinuální a zpětnovazební proces (pokud chceme srovnávat, musíme mít základnu!) ► Teorie a praxe jsou od sebe zásadně vzdálené ► V praxi se obvykle řeší hmotné finanční přínosy funkčnost, spokojenost Michal Krčál (KPH ESF MU) Ex-post evaluation 29.4.2019 3/35 Opakování Hodnocení informačních systémů ► Časová osa - jde o kontinuální a zpětnovazební proces (pokud chceme srovnávat, musíme mít základnu!) ► Teorie a praxe jsou od sebe zásadně vzdálené ► V praxi se obvykle řeší hmotné finanční přínosy funkčnost, spokojenost O čem to dneska bude ► Vybrané přístupy pro ex-post hodnocení informacích technologií ► User Acceptance ► User Satisfaction ► IS success Michal Krčál (KPH ESF MU) Ex-post evaluation 29.4.2019 3/35 Table of contents .ni O Současná situace Michal Krčál (KPH ESF MU) Ex-post evaluation Aplikační přístupy (IT) Balanced Scorecard Activity-Based Costing SWOT analýza Michal Krčál (KPH ESF MU) Ex-post evaluation 29.4.2019 5/35 Aplikační přístupy (IT) Balanced Scorecard Activity-Based Costing SWOT analýza Není na nich nic špatného, ale nemusí vždy stačit Michal Krčál (KPH ESF MU) Ex-post evaluation 29.4.2019 5/35 Balanced Scorecard Relationships in the Balanced Scorecard* How do we look to shareholders? How do customers see us? Financial Goals Measures What must we excel at? Are we satisfying customer needs? Customer Goals Measures Internal efficiency + customer satisfaction = financial success Internal Business Goals Measures Are we working effectively and efficiently? How can we serve customers better in the future? Innovation & Learning Goals Measures How can we continue to improve and create value? What are the emerging opportunities and challenges? * Adapted from Martinsons, Davison & Tse, Fig 1 p. 74. Original source Kaplan & Norton. Michal Krcäl (KPH ESF MU) Ex-post evaluation 29.4.2019 6/35 Balanced Scorecard FjgUr« L — Standard IT balanced scorecard USER ORIENTATION BUSINESS CONTRIBUTION H<™ ::i:!;::c:s, Organizational Competence |T Inhsslructljme Task Task CompatiHity Task &ffica*y User and $OCi»l Charact€ris-1i« ■-----■ ----------, ^tlibudes r ooard T^hi>Jijgy Enjoyment U-ser Expectations .(i.e., Dependant Va/iadlD) T«tinolpgy * * Information Duality ■ Swire Qualhy * InLeribOfl 10 Use * Jn LJsHir ^itisfcicrlinn * NaL H-ii-iul :b Figure 9. Determinants of IS Success Michal Krcal (KPH ESF MU) Ex-post evaluation 29. 4. 2019 19/35 D&M model - testování a úprava System Quality V- \ .396" ,391" Information Quality \ .069' Service Quality .D&7 Process Quality .001 \ , -015 \ ^096" / .096"/ .444™ > .418" / Collaboration Quality J -.015 M' >-,046 Use R3=.350; .365 109™ .174" User Satisfaction R2= sog 1.601 Individual Impact RJ=.594 f .594 ,378" 37S" Organizational Impact Rř- ,143 i .143 Management Support Fig. 2. Results of t lie structural analysis. * significant at p < .050; ** significant at p < .010; *"* significant at p <.001. Michal Krčál (KPH ESF MU) Ex-post evaluation 29.4.2019 20/35 Co model "obsahuje"? Jde o složené hodnocení velké řady proměnných -> viz otázky z Urbach Michal Krčál (KPH ESF MU) Ex-post evaluation 29. 4. 2019 21 /35 Co model "obsahuje"? • Jde o složené hodnocení velké řady proměnných -> viz otázky z Urbach • Co se pomocí IS success dá měřit a jakou to má vypovídající hodnotu? Michal Krčál (KPH ESF MU) Ex-post evaluation 29. 4. 2019 21 /35 Struktura .ni O Teoretické přístupy Strategie alignment/fit Michal Krčál (KPH ESF MU) Ex-post evaluation 29. 4. 2019 22/35 Podstata Určit (spočítat) soulad mezi strategií a informačním systémem Může ukázat na nedostatky v IS a pomoci při budoucím rozhodování/plánování Není jednoduché realizovat, viz (McLaren et al., 2011) Michal Krčál (KPH ESF MU) Ex-post evaluation 29.4.2019 23/35 Multilevel Strategic Fit Table 1, Steps in Multilevel Strategic Fit Measurement Model Step Application Details {1} Identify the IS capabilities setio ne measured according to the type of IS Identified a nelevant yet parsimonious set of 15 capabilities for measuring the strategic fil of a firm's SCM lhal included operational efficiency, operational flexibility, planning. Internal analysis, and estemai analysis (McLaren et ai. 2W4a}. {2} Measure the firm's current level of support for each IS capability using a realized IS capabilities instrument Measured the realized level of support each case's SCM provided for each SCM capability using a purpose-built "Realized SCM Capabilities Assessment Instrument," which contained UKert-type Herns adapted from existing survey measures (see Appendix C3). {3} Identify the firm's realized competitive straiagy archetype using a realized competitive strategies instrumenl Identif ed c^ch s&so's Miles and Snow archetype Jcc-fcndc sraiyzer prospects, or reactor as outlined in Table 2) using an 11-dimension "Realized Competitive Strategy instrument" adapted from Coram et al. (1990) (see Appendix C1J. (4) Determine the theoretically Ideal level of support fur each IS Capability according to Ihe firm's competitive strategy archetype Determined tbe theoretically ideal level of support a firm's SCM should provide (low, medium, or high} for each SCM capability according to whelher the firm was a defender, analyzer, or prospector.'* The ideal levels were derived from an analysis of prior research (see Table 4). (5) Calculate the overall (Type B) strategic fit of Ihe firm's IS as the overall deviation belween the firm's ideal and realized level of support for each IS capability Calculated the overall strategic lit of each case's SCM as 1be Euclidean distance of the misfits between the realized and theoretically ideal level of support tor each SCM Capability (see Table 5). (6} Calculate the detailed (Type- C} strategic fit of ibe firm's IS as trie difference between the firm's ideal and realized level of support for each IS capability Calculated the debited strategic ft of each case's SCM by comparing the realized and ihaorelically ideal level of support for each SCM Capabrlity individually (see Table 6). (7) Check for corroboration of the overall and detailed assessment of strategic fit of tbe firm's IS using Interviews and archival documenls Checked thai Ihe overall assessment Of the slrategic (it of each case's SCM from Step 5 was corroborated by examining Ihe evidence from the interview transcripts, archival documents, and Ihe respondents' subjective rating of the overall level of fit (see Table 7). Also checked that the individual capabilities that had Ihe greatest and least strategic fil from tine detailed assessment of strategic fit in Step 6 were corroborated by interview evidence from the case participant. 'Since reactors do not exhibit Oonsislenl strategic pallarns, they are usually omitted 1rorn empirical studies. Thus, it is riot possible Ip derive the theoretically ideal IS capabilities for a reactor from the existing literature. 29. 4. 2019 Michal Krcal (KPH ESF MU) Ex-post evaluation 24/35 Takto mohou vypadat výsledky Table 7, Overall Strategie Fit of the S CM at Each Case Study Case QUALITATIVE MEASURES QUANTITATIVE MEASURES Strategic Fit fro ir Analysis o1 Interviews Sample Qualitative Evidence Averags Perceived Level of Strategic Fit from Questionnaire" Strategic Fit fro mi Euclidean Distance Calculations (Step 5} Strategic Fit from Euclidean Distance Ignoring Greater than Ideal Misfits* Al High " '[The IS ate] enabling us to reduce costs vrhich is crre of the m&in drivers for us. So it fits quite wet! with our strategic needs.' High (4.0 out of 5) High (0,9) High (0.7) A2 Low • Requests far Duller systems for1 doing market scanning and competitive analysis, ■ Some frustration with poorly integrated custom developed applications.. Low-Medium (2.5 out of 5) Low (2.2) Medium (19) B Low * Ongoing projects to integrate mu itiple E RP and APS sysiems and develop mora collaborative planning c:h:::i:! lilies. ■ Fnjslration with heavy usage of standalone spreadsheets arm databases. Low-Medium (2.5 out of 5) Lew (2,7) Low (2.7) C Low * 'The fl$J is s b*t of e hindrance vvrren you consider all the lime taken to set up new customers, * • *iVb realty need a mors flexible system in plana." Low (2.0 out of 5) 1 C'.v (2.2) I C'.v (2.1) D Medium * 1 think they're pretty good.' ■ "1 think its pretty efficient" • l'm $vto Out dotitnKt manufacturers have everything totally integrated. But vne don t need it as much." M&dllum (3.0 out of 5) Madlům (1,3) Medium (1.3) E Medium ■• The systems meet the minimum needs ■ ■■ improvements would save time and money.' " Thesis sysferws are- great at gathering, tha information but there is very ffale intelligent use oftha information gathafsd." M&dium [3.0 out Of 5) Low (21) Medium (1.0) Michal Krčál (KPH ESF MU) Ex-post evaluation 29. 4. 2019 25/35 Struktura .ni O Teoretické přístupy • Process based evaluation Michal Krčál (KPH ESF MU) Ex-post evaluation 29. 4. 2019 26/35 Podstata • Sice výzkumy jsou zaměřeny spíše na ex-ante hodnocení, lze samozřejmě využít i v rámci ex-post ► Viz zpětná vazba ze začátku přednášky • Peacock and Tanniru (2005) využili rozdělení nákladů na jednotlivé činnosti, které IS ovlivní ► Lze srovnat situaci před implementací a pak po ní a vypočítat úsporu nákladů ► Dobrý přístup na náklady (jejich snižování), ale horší je to s přínosy • Raschke and Sen (2013) se zaměřili na vztah mezi implementací IS a eliminací činností, které nepřináší žádnou přidanou hodnotu • Mans et al. (2013) využili process mining a simulace k odhadu hodnoty přínosu IS ► V rámci uvaluation bez jakékoli justification fáze je to využitelné pro porovnání AS-WAS modelu a AS-IS modelu (ale předpokládá to nějaká data o AS-WAS modelu) Michal Krčál (KPH ESF MU) Ex-post evaluation 29.4.2019 27/35 Value-based Identify processes and associated activities Allocate costs to actvities Categorize costs into VA vs, NVA * Categorize NVA (according to Table 1) * Determine possible reduction in NVA * Use weighted NVA in RFP • Calculate potential benefit from each vendor/solution Fig. 1. ABM based methodology for measuring iT-enabled process improvement Michal Krčál (KPH ESF MU) Ex-post evaluation 29.4.2019 28/35 Process mining A5-IS < E^e 11 Lugs fůr Current Wert ŕ law Pmcess Mining Discrete Evíjni Simulation Resource Characterislict Plerfpfirigr*cg- ChnracUiriülicü Model Integration I AspaclE: - ŕ]íin1nol-flcrtu Perspective ■ Resource Perspective ■ performance Perspectiv Output: Performance Measures AS-IS Simulation Model Validated AS-IS Simijlaüon Model Event Log* r« rv.^ R Technologies Control-flow Discovery ReíiCurce C-heracliensľics y* y* Performance ChareclenatiD-a Model Integration £ —y- Jl TOBE Simulation Model T Whal V Analysis ■* <□► < rS1 ► < ± > < -ž ► -š •OQkO Michal Krčál (KPH ESF MU) Ex-post evaluation 29.4.2019 29/35 fable of contents .ni O Srhnuti Michal Krcäl (KPH ESF MU) Ex-post evaluation 29. 4. 2019 30/35 Shrnutí Řízení hodnoty IS se neobejde bez jejího měření a vyhodnocování Michal Krčál (KPH ESF MU) Ex-post evaluation 29. 4. 2019 31 /35 Shrnutí Řízení hodnoty IS se neobejde bez jejího měření a vyhodnocování Ex-ante a ex-post evaluation jsou (by měly být) mezi sebou těsně provázány Michal Krčál (KPH ESF MU) Ex-post evaluation 29. 4. 2019 31 /35 Shrnutí Řízení hodnoty IS se neobejde bez jejího měření a vyhodnocování Ex-ante a ex-post evaluation jsou (by měly být) mezi sebou těsně provázány Zlaté pravidlo hodnocení IS - něco je vždycky lepší než nic, i když to není zrovna podle teorie Michal Krčál (KPH ESF MU) Ex-post evaluation 29. 4. 2019 31 /35 Shrnutí Řízení hodnoty IS se neobejde bez jejího měření a vyhodnocování Ex-ante a ex-post evaluation jsou (by měly být) mezi sebou těsně provázány Zlaté pravidlo hodnocení IS - něco je vždycky lepší než nic, i když to není zrovna podle teorie Další pravidlo - je nutné rozumět přínosům a nákladům hodnocení -> i když by se IS obecně hodnotit měly, někdy se to prostě nevyplatí Michal Krčál (KPH ESF MU) Ex-post evaluation 29. 4. 2019 31 /35 Další program Jakub Vrchlabský přijde v posledním týdnu v pondělí ► bude se řešit Enterprise Architecture ► výuka bude protažená o hodinu Michal Krčál (KPH ESF MU) Ex-post evaluation 29.4.2019 32/35 Další program Jakub Vrchlabský přijde v posledním týdnu v pondělí ► bude se řešit Enterprise Architecture ► výuka bude protažená o hodinu Zápočtový test bude v posledním týdnu v pátek (tj. nebude klasický seminář) Bude pokrývat témata z celého semestru, ale s důrazem na druhou půlkou Michal Krčál (KPH ESF MU) Ex-post evaluation 29.4.2019 32/35 Tento týden Vyberte si jeden přístup v rámci přednášky (a rovnomerne si je mezi sebou rozdělte): ► IS success ► TAM ► User Satisfaction ► Process based Najděte alespoň dva související zdroje s přístupem, které nejsou uvedené v přednášce a kriticky daný přístup analyzujte. Do přípravy zahrňte i otázky na cokoli, čemu nerozumíte, nebo co vás v souvislosti s tématem a tím, co jste přečetli, napadá. Michal Krčál (KPH ESF MU) Ex-post evaluation 29.4.2019 33/35 References Davis, Fred D. (1986). "A technology acceptance model for empirically testing new end-user information systems: Theory and results". PhD thesis. Massachusetts Institute of Technology (cit. on pp. 12-14). DeLone, William H. and Ephraim R. McLean (1992). "Information Systems Success: The Quest for the Dependent Variable". In: Information Systems Research 3.1, pp. 60-95. issn: 10477047 (cit. on p. 20). — (2003). "The DeLone and McLean Model of Information Systems Success: A Ten-Year Update". In: Journal of Management Information Systems 19.4, pp. 9-30. issn: 07421222 (cit. on p. 20). Mans, Ronny et al. (2013). "A process-oriented methodology for evaluating the impact of IT: A proposal and an application in healthcare". In: Information Systems 38.8, pp. 1097-1115. issn: 0306-4379. doi: 10.1016/j. is .06.005 (cit. on p. 32). McLaren, Tim S. et al. (2011). "A Multilevel Model for Measuring Fit Between a Firm's Competitive Strategies and Information Systems Capabilities". In: MIS Quarterly 35.4, 909-A10. issn: 02767783 (cit. on p. 28). Peacock, Eileen and Mohan Tanniru (2005). "Activity-based justification of IT investments". In: Information & Management42.3, pp. 415-424. issn: 0378-7206. doi: 10 .1016/j . im. 2003 .12 .015 (cit. on p. 32). Petter, Stacie, William DeLone, and Ephraim R. McLean (2013). "Information Systems Success: The Quest for the Independent Variables". In: Journal of Management Information Systems 29.4, pp. 7-62. issn: 07421222. doi: 10 . 2 753/MIS07 42-12222 904 01 (cit. on p. 20). Raschke, Robyn L. and Sagnika Sen (2013). "A value-based approach to the ex-ante evaluation of IT enabled business process improvement projects". In: Information & Management50.7, pp. 446-456. issn: 03787206. doi: 10.1016/j.im.2013.07.007 (cit. on p. 32). Michal Krcäl (KPH ESF MU) Ex-post evaluation 29. 4. 2019 34/35 References Tojib, Dewi Rooslani, Ly-Fie Sugianto, and Sen Sendjaya (Dec. 2008). "User satisfaction with business-to-employee portals: conceptualization and scale development". In: European Journal of Information Systems 17.6. WOS:000262201100007, pp. 649-667. DOl: 10 .1057/e jis . 2008 . 55 (cit. on p. 18). Urbach, Nils, Stefan Smolnik, and Gerold Riempp (2010). "An empirical investigation of employee portal success". In: The Journal of Strategic Information Systems 19.3, pp. 184-206. issn: 0963-8687. doi: 10 .1016/j. jsis . 2010. 06. 002 (cit. on p. 20). Venkatesh, Viswanath et al. (2003). "User Acceptance of Information Technology: Toward a Unified View". In: MIS Quarterly 27.3, pp. 425-478. issn: 02767783 (cit. on pp. 12-14). Michal Krcäl (KPH ESF MU) Ex-post evaluation 29. 4. 2019 35/35