CORE013 / Barbora Bühnová1
Přednáška 8
Kvalita softwarových systémů
CORE013 Vývoj softwarových systémů: od myšlenky k funkčnímu řešení
CORE013 / Barbora Bühnová2
8. Kvalita softwarových systémů
̶ Co je to kvalita, jak ji definujeme
̶ Jak předcházet problémům s kvalitou
̶ Jak kontrolovat úroveň kvality
̶ Testování a jeho role ve vývoji SW
Domácí práce a příprava na dnešní přednášku
̶ Článek 5 of the Biggest Information Technology Failures and Scares
̶ Článek Do remote teams deliver lower quality software?
CORE013 / Barbora Bühnová3
CO JE TO KVALITA SW
A JAK JI ZAJISTIT?
CORE013 / Barbora Bühnová / © Papcunová4
Řízení kvality (QA, QC, QE)
̶ Procesní přístup k udržení požadované úrovně kvality
služby nebo produktu s důrazem na každou fázi procesu
návrhu, vývoje a dodání.
̶ Způsob, jak předcházet chybám a vadám výrobků
a vyhnout se problémům při dodávání výrobků nebo služeb zákazníkům.
̶ Quality Assurance (QA) a Quality Control (QC) se často používá zaměnitelně, ale
QA se vztahuje k prevenci vad, zatímco QC se zaměřuje na identifikaci vad.
̶ Quality Engineering (QE) zahrnuje obojí.
CORE013 / Barbora Bühnová5
Metody řízení kvality (QE)
Testování použitelnosti
Testování zabezpečení
Bezpečnostní taktiky
CORE013 / Barbora Bühnová6
Přehled metod QE
Prevent
quality issues
Detect
quality issues
Repair
quality issues
Keep track of
quality issues
Define
quality issues
Define footer – presentation title / department7
1. DEFINE
CORE013 / Barbora Bühnová8
1. DEFINE: Definice otázek kvality
̶ Kvalita softwaru je běžně definována jako schopnost softwarového
produktu přizpůsobovat se požadavkům [ISO/IEC 9001].
̶ Specifikace požadavků
̶ Metriky softwaru
̶ "Nemůžete řídit to, co nemůžete měřit”
̶ Atributy kvality
̶ produktu, procesu a zdrojů
Prevent
quality issues
Detect
quality issues
Repair
quality issues
Keep track of
quality issues
Define
quality issues
potřeby
zákazníků
CORE013 / Barbora Bühnová9
1. DEFINE: Co pro vás znamená "kvalita"?
... a pro vašeho zákazníka?
... a vašeho manažera?
CORE013 / Barbora Bühnová10
1. DEFINE: Ledovec kvality softwaru
EXTERNÍ KVALITA
INTERNÍ KVALITA
Viditelné / příznaky
Neviditelné / příčiny
použitelnost
přesnost
náklady
výkonnost
spolehlivost
struktura programu
složitost
postupy kódování
testovatelnost
opakované použití
udržovatelnost
flexibilita
srozumitelnost
bezpečnosttestováníinspekce
Inspirace z [5]
ručníneboautomatické?
měřitelnénebone?
CORE013 / Barbora Bühnová11
1. DEFINE: Velká pětka
̶ Udržovatelnost (maintainability)
̶ snadná změna (bez zvýšeného technického dluhu)
̶ Výkonnost (performance)
̶ doba odezvy a efektivita využití zdrojů
̶ Spolehlivost (reliability)
̶ pravděpodobnost bezporuchového provozu po určitou dobu.
̶ Bezpečnost (security)
̶ schopnost systému chránit se před útoky.
̶ Použitelnost (usability)
̶ snadné používání systému a možnost naučit se jej používat
CORE013 / Barbora Bühnová12
2. PREVENT
CORE013 / Barbora Bühnová13
2. PREVENT: Předcházení problémům s kvalitou
̶ Osvědčené postupy kódování
̶ Čistý kód, zásady SOLID
̶ Návrhové vzory
̶ Párové programování
̶ Konvence psaní kódu
̶ Specifická jazyková doporučení
̶ Procesy zajišťování kvality
̶ V-model testování, vývoj řízený testy
̶ Standardy pro zlepšování vývojových procesů
̶ Referenční modely CMMI a ITIL
̶ ISO 9000, ISO/IEC 25010
Prevent
quality issues
Detect
quality issues
Repair
quality issues
Keep track of
quality issues
Define
quality issues
procesyprogramování
CORE013 / Barbora Bühnová14
3. DETECT
CORE013 / Barbora Bühnová15
3. DETECT: Zjištění problémů s kvalitou
̶ Testování funkčních požadavků
̶ Ruční nebo automatické
̶ Testování nefunkčních požadavků
̶ Výkonnost, použitelnost, zabezpečení testování
̶ Inspekce designu
̶ Ruční kontroly artefaktů návrhu
̶ Recenze kódu
̶ Ruční kontroly kódu
̶ Automatizovaná statická analýza kódu
Prevent
quality issues
Detect
quality issues
Repair
quality issues
Keep track of
quality issues
Define
quality issues
statickáanalýzatestování
CORE013 / Barbora Bühnová16
3. DETECT: Týká se všech fází vývoje – více níže
Inspirováno z [1]
Testovací
případy, zdroje
Plán testování
Strategie
testování
Jednotka
Komponenta
Funkční test
Backend
Middleware
Třetí strana
Systémové a
integrační testy
Funkční
Nefunkční
Regrese
Test vydání
Použitelnost
Učitelnost
Požadavky
Akceptační
(user) test
Aplikace
Infrastruktura
Postprodukční
ladění
Požadavky
Kritéria
přijatelnosti
Řízení testů
Funkční testování
Nefunkční testování
Ladění
Zadání Design Prototyp Konfigurace Validace Nasazení Údržba
VývojTestováníCelkovýpohled
Cyklus implementace
Penetrace
Červený tým
Bezpečnostní
Doba odezvy
Stres
Test výkonu
CORE013 / Barbora Bühnová17
Validace vs. verifikace
̶ Validace:
"Vytváříme správný produkt"
̶ Software by měl splňovat očekávání uživatelů, odpovídat jejich požadavkům
(specifikace uživatele na vysoké úrovni).
̶ Verifikace:
"Vytváříme produkt správně"
̶ Software by měl být bezchybný, měl by odpovídat specifikaci programátora na nízké
úrovni (např. testovací případy).
CORE013 / Barbora Bühnová18
Dynamické a statické ověřování
̶ Dynamické ověřování
̶ Zabývá se cvičením a pozorováním chování výrobku
̶ např. testování softwaru
̶ Systém je spuštěn s testovacími daty a je pozorováno jeho provozní chování.
̶ Statické ověření
̶ Zabývá se analýzou statické reprezentace systému s cílem odhalit problémy
̶ např. kontroly softwaru
̶ Může být doplněn o analýzu dokumentů a kódu pomocí nástrojů.
CORE013 / Barbora Bühnová19
Dynamické (testování) a statické (inspekce) metody
ověřování
CORE013 / Barbora Bühnová20
DYNAMICKÉ METODY DETEKCE
CORE013 / Barbora Bühnová21
Testování programu
̶ Testování má ukázat, že program dělá to, co má, a odhalit vady programu před
jeho uvedením do provozu.
̶ Při testování softwaru spouštíte program pomocí umělých dat.
̶ Zkontrolujete, zda výsledky testování neobsahují chyby a odchylky
̶ Může odhalit přítomnost chyb, NE jejich nepřítomnost.
̶ Testování je součástí obecnějšího procesu Validace & Verifikace, který
zahrnuje také statické techniky V&V.
CORE013 / Barbora Bühnová22
Cíle procesu testování
̶ Validační testování
̶ Prokázat vývojáři a zákazníkovi systému, že software splňuje jeho požadavky.
̶ To znamená, že pro každý požadavek nebo vlastnost systému by měl existovat alespoň
jeden test.
̶ Úspěšný test ukazuje, že systém funguje, jak má.
̶ Verifikační testování
̶ Odhalit chyby nebo závady v softwaru, pokud je jeho chování nesprávné nebo není v
souladu s jeho specifikací.
̶ Úspěšný test je takový test, který způsobí, že systém funguje nesprávně, a odhalí tak
chybu v systému.
CORE013 / Barbora Bühnová23
Fáze testování
̶ Development testing, kdy se systém testuje během vývoje, aby se odhalily
chyby a nedostatky.
̶ Release testing, kdy samostatný testovací tým otestuje kompletní verzi
systému před jeho uvolněním pro uživatele.
̶ Uživatelské testování, kdy uživatelé nebo potenciální uživatelé systému testují
systém ve svém vlastním prostředí.
CORE013 / Barbora Bühnová24
Development testing
̶ Všechny testovací činnosti, které provádí tým vyvíjející systém.
̶ Unit testing/testování jednotek
̶ Testují se jednotlivé programové jednotky nebo třídy objektů. Unt testing by se mělo
zaměřit na testování funkčnosti objektů nebo metod.
̶ Systémové/integrační testování
̶ některé nebo všechny součásti systému jsou integrovány a systém je testován jako
celek. Systémové testování by se mělo zaměřit na testování interakcí komponent.
CORE013 / Barbora Bühnová25
Release testing
̶ Proces testování konkrétní verze systému, která je určena k použití.
̶ Hlavním cílem procesu testování při uvolnění je přesvědčit dodavatele
systému, že je připravený pro použití.
̶ Testování při uvedení do provozu proto musí prokázat, že systém poskytuje stanovené
funkce, výkonnost a spolehlivost a že při běžném používání neselže.
̶ Případy užití vytvořené za účelem identifikace požadavků na systém lze použít jako
základ pro release testing.
̶ Testování verze je obvykle black-box procesem, kdy jsou testy odvozeny
pouze ze specifikace systému.
CORE013 / Barbora Bühnová26
Uživatelské testování
̶ Fáze procesu testování, ve které uživatelé nebo zákazníci poskytují vstupní
informace a rady k testování systému.
̶ Uživatelské testování je nezbytné i v případě, že bylo provedeno komplexní
testování systému a release testy.
̶ Důvodem je skutečnost, že vlivy pracovního prostředí uživatele mají zásadní vliv na
spolehlivost, výkonnost, použitelnost a robustnost systému.
CORE013 / Barbora Bühnová27
STATICKÉ METODY DETEKCE
CORE013 / Barbora Bühnová28
Statická analýza
̶ Techniky statické analýzy jsou techniky ověřování systému, které nezahrnují
spuštění programu.
̶ Statická analýza zahrnuje techniky, jako jsou
̶ Kontroly a code reviews - manuální
̶ Automatizovaná analýza programu - atomatické
̶ Statická analýza má svůj význam vždy, když je levnější najít a odstranit chyby
než platit za selhání systému – např. v kritických systémech.
CORE013 / Barbora Bühnová29
Výhody statických metod – inspekcí
̶ Během testování mohou chyby maskovat jiné chyby. Protože kontrola je
statický proces, nemusíte se zabývat interakcemi mezi chybami.
̶ Neúplné verze systému lze kontrolovat bez dalších nákladů. Pokud je program
neúplný, je třeba vyvinout specializované testovací makety pro testování
částí, které jsou k dispozici.
̶ Kromě hledání chyb programu může kontrola zohlednit i další atributy kvality
programu, jako je dodržování standardů, přenositelnost a udržovatelnost.
CORE013 / Barbora Bühnová30
Automatizovaná statická analýza – SONARQUBE
CORE013 / Barbora Bühnová31
DETEKCE NEDODRŽENÍ
NEFUNKČNÍCH ATRIBUTŮ KVALITY
CORE013 / Barbora Bühnová32
Testování výkonnosti
̶ Testování verze může zahrnovat testování nových vlastností systému, jako je
výkonnost a spolehlivost.
̶ Testy by měly odrážet profil použití systému.
̶ Testy výkonnosti obvykle zahrnují naplánování série testů, při nichž se zátěž
postupně zvyšuje, dokud se výkonnost systému nestane nepřijatelnou.
̶ Zátěžové testování je forma testování výkonnosti, kdy je systém záměrně
přetížen, aby se otestovalo jeho chování při selhání.
CORE013 / Barbora Bühnová33
Ověřování spolehlivosti
̶ Ověřování spolehlivosti zahrnuje cvičení programu, jehož cílem je posoudit,
zda program dosáhl požadované úrovně spolehlivosti.
̶ Měření spolehlivosti vyžaduje speciálně navržený soubor dat, který odráží
očekávané použití systému (na rozdíl od testování defektů, kde je atypickému
použití věnována větší pozornost), tj. kopíruje očekávané vstupní vzorce.
CORE013 / Barbora Bühnová34
Ověřování bezpečnosti
̶ Testování, do jaké míry se systém dokáže chránit před vnějšími útoky.
̶ Problémy s testováním bezpečnosti
̶ Bezpečnostní požadavky jsou požadavky typu "nesmí se", tj. určují, co by se nemělo stát.
Obvykle není možné definovat bezpečnostní požadavky jako jednoduchá omezení,
která lze kontrolovat systémem.
̶ Lidé, kteří útočí na systém, jsou inteligentní a hledají zranitelná místa. Mohou
experimentovat a objevovat slabiny a mezery v systému.
̶ Statická analýza může být použita k navedení testovacího týmu na oblasti
programu, které mohou obsahovat chyby a zranitelnosti.
CORE013 / Barbora Bühnová35
Ověřování bezpečnosti
̶ Ověřování na základě zkušeností
̶ Systém je analyzován z hlediska typů útoků, které jsou validačnímu týmu známy.
̶ Tiger teams
̶ Je vytvořen tým, jehož cílem je prolomit zabezpečení systému simulací útoků na systém.
̶ Validace pomocí nástrojů
̶ K analýze provozovaného systému se používají různé bezpečnostní nástroje, jako jsou
například nástroje pro kontrolu hesel.
̶ Formální verifikace
̶ Systém je ověřen podle formální bezpečnostní specifikace.
CORE013 / Barbora Bühnová36
4. REPAIR
CORE013 / Barbora Bühnová37
4. REPAIR: Náprava kvality
̶ Funkční problém
̶ Oprava kódu
̶ Problém se spolehlivostí
̶ Mechanismy odolnosti proti chybám
̶ Problém s výkonností
̶ Souběžnost, efektivní využití zdrojů, identifikace a odstranění úzkých míst systému
̶ Problém s bezpečností
̶ Identifikace a odstranění zranitelných míst systému (single points of failure).
̶ Problém s udržovatelností
̶ Refaktoring podle zásad čistého kódu, návrhových vzorů
Prevent
quality issues
Detect
quality issues
Repair
quality issues
Keep track of
quality issues
Define
quality issues
taktikyavzory
Define footer – presentation title / department38
5. TRACK
CORE013 / Barbora Bühnová39
5. TRACK: Sledování vývoje kvality
̶ Sledování problémů
̶ Podporuje správu problémy nahlášené zákazníky
̶ Správa technického dluhu
̶ Úroveň zhoršení kvality kódu
̶ Práce, kterou je třeba provést před tím, než
může být určitý úkol považován za dokončený
̶ Správa konfigurace
̶ Správa verzí a správa vydání
̶ Integrace systému
Prevent
quality issues
Detect
quality issues
Repair
quality issues
Keep track of
quality issues
Define
quality issues
CORE013 / Barbora Bühnová40
Přehled metod QE
Prevent quality issues
- Coding best practices
- Code conventions
- QA processes
- Standards
Detect quality issues
- (Non)Functional testing
- Design inspections
- Code reviews
- Static code analysis
Repair quality issues
- Reliability tactics
- Performance tactics
- Security tactics
- Maintainability tactics
Keep track of quality issues
- Issue tracking
- Technical debt management
- Configuration management
Define quality issues
- Requirements engineering
- Quality attributes
CORE013 / Barbora Bühnová41
Dobře si vybrat, dobře naplánovat
̶ Dobře si promyslete své požadavky
a náklady na kvalitu
CORE013 / Barbora Bühnová42
Dobře si vyberte - klíčová je kombinace
Z [2,3], viz také zprávy RebelLabs [4].
CORE013 / Barbora Bühnová43
Dobré plánování - Síla analogie
̶ Servis letadel
̶ Vyžaduje pravidelný servis, např. každých 100 000 km.
̶ Probíhá, i když se zdá, že vše funguje v pořádku, protože si nemůžeme dovolit selhání.
̶ Správa technického dluhu
̶ Představil Ward Cunningham
̶ Analogie zhoršení kvality s finančním dluhem - pokud není splacen, úroky se zvyšují. Člověk se
může dostat do problémů.
̶ Někdy je moudré si "půjčit peníze"
̶ Když člověk očekává, že bude mít v budoucnu více peněz (začínající firma).
̶ Když je třeba jednat rychle, abyste nepropásli tržní příležitost
̶ Kdy se očekává znehodnocení peněz (např. vývojáři budou zkušenější, bude snazší pochopit
potřeby uživatelů).
Můžeme to kvantifikovat?
CORE013 / Barbora Bühnová44
Shrnutí
̶ Inženýrství kvality (QE) je mnohem víc než jen testování, které zahrnuje
mnoho různých metod, jak
̶ prevence, odhalování, opravy a sledování problémů s kvalitou.
̶ Klíčem k úspěšnému QE je kombinace metod.
̶ Dobře si však vyberte a naplánujte, ne všechny metody jsou pro váš projekt nejlepší!
̶ Ujistěte se, že rozumíte potřebám svých zákazníků
̶ Vyvážit interní i externí atributy kvality pro obě strany. současnost i budoucnost
CORE013 / Barbora Bühnová45
Odkazy
̶ [1] Testování, které provádíte při vývoji aplikace Siebel. Dostupné online na adrese
http://docs.oracle.com/cd/E14004_01/books/DevDep/Overview5.html
̶ [2] Steve McConnell. Code Complete: S.: Code Code: Praktická příručka pro tvorbu softwaru, druhé vydání.
Microsoft Press, červen 2004.
̶ [3] Kevin Burke. Why code review beats testing: evidence from decades of programming research [Proč
kontrola kódu překonává testování: důkazy z desetiletí výzkumu programování]. Dostupné online na adrese
https://kev.inburke.com/kevin/the-best-ways-to-find-bugs-in-your-code/
̶ [4] RebelLabs. Zpráva o produktivitě vývojářů za rok 2013. Dostupné online na adrese
http://zeroturnaround.com/rebellabs/developer-productivity-report-2013-how-engineering-tools-practices-
impact-software-quality-delivery/
̶ [5] Jonathan Bloom. Titanic Dilemma: Viditelné versus neviditelné. Dostupné online na
http://blog.castsoftware.com/titanic-dilemma-the-seen-versus-the-unseen/
CORE013 / Barbora Bühnová46
CO NÁS ČEKÁ PŘÍŠTĚ
CORE013 / Barbora Bühnová47
9. Klíčové atributy kvality
̶ Udržovatelnost
̶ Výkonnost
̶ Spolehlivost
̶ Bezpečnost
̶ Použitelnost
Domácí práce a příprava na příští přednášku
̶ Podívejte se na možnosti nástroje SONARQUBE
̶ Přijdejte se k nám na Den s průmyslovými patnery FI MU
https://www.fi.muni.cz/for-partners/meeting-autumn2022.html.cs