Základy zpracování obrazové informace
M. Dostál    J. Šrámek    V. Mornstein
Biofyzikálni ústav Lékařská fakulta Masarykovy univerzity Brno
2015
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
Obraz
Intuitivní vymezení
• Každý má nějakou představu o obrazu.
• Naše představy se obvykle výrazně neliší.
• Obtížná formalizace.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Obraz
První krok k formalizaci
9 Počítač je rychlý hlupák pracující s čísly.
• Obraz tedy musíme uchopit matematicky.
• Model: Žižka dříve než obléhal Rabí.
Light waves
©2011 Peafsc-n Education, Inc.
I
Stanfield CL, Germann WJ: Principles of Human Physiology, 4th ed. Pearson 2010.
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Obraz
Formalizace obrazu
• Sítnice je zakrivená omezená plocha.
• Pro další úvahy je vhodné si ji představit jako rovinu.
• Obraz je určen kvalitami v každém bodě.
• Kvality obrazu lze také ohodnotit číselně.
• Obraz je tedy vlastně funkce dvou proměnných:
/:IxR^C
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Obraz
První krok k formalizaci barev
• Intuitivně nelze určit, zda je červená více než modrá nebo naopak.
• Stupně šedi ale takto porovnáme.
« Stupně šedi tedy lze kódovat číselným intervalem.
• Obrazová funkce je pak reálná funkce dvou reálných proměnných.
• Takový obraz se nazývá šedotónový, vžilo se označení černobílý.
• Barvy vnímáme jako následující kvality:
• jas - intenzita,
• barva - převažující vlnová délka,
• sytost - podíl neprevažující vlnových délek.
• V sítnici jsou tři populace čípku s maximy:
• 440 nm (modrá), 9 535 nm (zelená),
• 565 nm (červená/žlutá).
• Barevný vjem vzniká integrací signalizace ze všech tří typů receptoru.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Obraz
Formalizace barev — barevný model CIE
I
• CIE znamená Commission internationale de l'eclairage, používá se i pro označení modelů.
• Model CIE XYZ (1931) vychází z modelů spektrální citlivosti pro červenou (x(A)), zelenou (ý(A)) a modrou (ž(A)) barvu.
• Pro záření se spektrálním výkonem /(A) tři parametry:
X = J/(A)x(A)A
Y = J /(A)ý(A) A Z = J/(A)Ž(A)A
Model CIE XYZ má několik vylepšení.
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Obraz
Formalizace barev - barevný prostor RGB
• Tři základní barvy:
• červená (Red),
• zelená (Green),
• modrá (Blue).
• Aditivní míšení barev.
• Technické aplikace: CRT obrazovky, LCD displeje.
• IT aplikace: Obvyklá reprezentace barev v paměti.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
• Tři základní barvy:
• azurová (Cyan),
• purpurová (Magenta),
• žlutá (Yellow).
• Subtraktivní míšení barev.
9 Technické aplikace: barevný tisk.
• Z technických důvodů se doplňuje černá barva (Key, někdy i blacK).
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Obraz
Za formalizací barev - hyperspectral imaging
• Práce s informací o barvě je uzpůsobena lidskému vidění.
• Významná ztráta informace o spektru.
• Může být přesah i mimo viditelnou oblast.
a Snímání spektra po částech pro každý pixel.
• Někdy se rozlišuje zobrazování na:
• multispektrální - spektrum je rozděleno na jednotky vzorků,
• hyperspektrální - spektrum je rozděleno na stovky vzorků.
• Aplikace:
• hyperspektrální mikroskopie (hyperspectral microscope imaging),
• analýza snímků patologických lézí,
• cokoliv, kde může být ve spektru zajímavá informace.
Digitální obraz
Diskretizace a digitalizace
• Teoretický koncept obrazu je spojitý.
• Počítač umožňuje pracovat jen s konečným počtem čísel. 9 I tato čísla mohou nabývat jen konečného počtu hodnot. 9 Zavádí se diskrétní obrazová funkce:
ZxZ^C
• Základní datovou reprezentací je matice nebo trojice matic.
* Digitalizace vede ke ztrátě informace a ke vzniku artefaktů.
Digitální obraz
Pixel a spol.
• Nejmenší dílem digitálního obrazu (Picture Element)
• Logický pixel:
• matematická abstrakce, pixel jako bod,
• kolem pixelu není nic.
9 Fyzický pixel:
• realizace pixelu na zobrazovacím zařízení,
• nejčastěji čtverec - pravidelné pokrytí plochy,
• digitální geometrie,
• 4—sousedi - pixelu se dotýkají hranou,
• 8—sousedi - pixelu se dotýkají hranou nebo rohem.
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF MU
Detektory obrazu
Fotoelektrický jev
Vnějším fotoelektrický jev - elektrony opouštějí látku Vnitřní fotoelektrický jev - elektrony přecházejí do vodivostního pásu.
Vnitřní fotoelektrický jev se používá ke konstrukci polovidičových optoeletronických prvků - fotodióda, fototranzistor, etc.
i
top metal contact p+ contact region p diffusion _
intrinsic region (larger depletion region)
n type _
n+ contact region — bottom metal contact
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
Ur M
BFU LF M
Detektory obrazu
Fotonásobič
I
• Klasický spojitý detektor, specializovaná elektronka 9 Vnější fotoelektrický jev.
• Používal se hojně v televizní technice.
• Teoreticky velmi vysoká citlivost.
• Ke snímání obrazu třeba další příslušenství.
Dynoden
Photon íphoto i s\ Elektron
Ra Messausgang
Photokathoden schickt
Beschleunigungsspannung 1-2 kV
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
• Vynalezeno v roce 1969 W. Boylem a G. E. Smithem v AT&T Bell Labs.
• V roce 2009 Nobelova cena za fyziku.
• Využívá vnitřního fotoelektrického jevu.
• Obraz je sejmut najednou.
• Uvolněné náboje jsou čteny postupně.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Detektory obrazu
Charge-Coupled Device (CCD) - princip
I
SlOi		\9.-
Si	AOOÓA	
výstup —O
1
.3       .1        .2       .3       .1        .2 .3
SlOi Si
—
1
výstup -O
3 1 2 3 1
:-1 i—_    j i
Sid
Si
výstup
ľ]?
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF MU
Detektory obrazu
Actipe-Pixel Sensor (APS)
• Náhrada CCD v řadě aplikací.
• Pole senzorů, každému pixelu odpovídá senzor a zesilovač. 9 Obraz je snímán postupně.
• Výhodou je menší spotřeba (CMOS) a lepší poměr signál/šum.
Detektory obrazu
Barevné obrazy
• Princip fotonásobiče, CCD i APS je šedotónový.
• Ke snímaní barev se používají různé techniky:
• Samostatné snímače - rozdělení světla hranolem či mřížkou.
• Bayerova maska - pixely snímače jsou kryté barevnými filtry
• Selektivně citlivé snímače ve vrstvě nad sebou (Foveron X3).
• Digitální obraz je matice čísel.
• Rozsáhlá matice s poměrně velkými homogenními oblastmi.
• Komprese obrazu:
• ztrátová
• bezeztrátová
• Uložení barev:
• šedotónové
• různý rozsah barevných složek
• tabulka barev
• Doplňové informace v souboru.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
• Svého času velmi rozšířený - Nativní formát programu Malování.
• Umožňuje kompresi, nemusí být vůbec komprimován, o Zbytečně velký soubor.
• Jediná výhoda: Rychlé načtení.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Datové formáty obrazu
PNG (Portable Network Graphics)
o Barevný formát, bezeztrátová komprese.
• Orientace na ilustrace na webu.
• Umožňuje vysoký počet barev a průhlednost.
• Velmi široká podpora v grafických programech.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Datové formáty obrazu
JPEG (Joint Photographic Experts Group)
• Barevný formát se ztrátovou kompresí. 9 Orientace především na fotografie.
• Ztrátová komprese je založena na odstranění lidským okem nepostřehnutelných detailů.
9 Volitelná úroveň komprese.
• Používá se i ke sdílení biomedicínských snímků.
• Z JPEG vychází formáty JPEG 2000 (mj. jiná metoda komprese).
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Datové formáty obrazu
TIFF (Tag I mage File Format)
• Původně souborový formát pro fax.
• Nyní formát se řadou volitelných možností.
• Komprese volitelně ztrátová i bezeztrátová.
• Vhodný pro práci s velkoplošnou grafikou.
• Ujal se spíše v oblasti počítačové grafiky.
• Někdy bývá vyžadován např. do publikací.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Datové formáty obrazu
DICOM (Digital Imaging and Communications in Medicine)
• Vlastně nejde o soubor ale o komplexní datový rámec.
o Vyvinut pro přenos a ukládání biomedicínských informací.
9 Vedle vlastního obrazu nebo videa zahrnuje i informace o pacientovi.
9 Připouští několik způsobů komprese.
• Díky standardizaci je technicky poměrně nekomplikovaný přenos snímků mezi zdravotnickými zařízeními - PACS (Picture Archiving and Communication System).
Globální charakteristiky obrazu
Jed noduché parametry
o Hloubka - počet bitů na jeden pixel.
• Dynamický rozsah - skutečné využití bitové hloubky, vzorec
• Jas - průměrná hodnota pixelů.
9 Kontrast - rozptýlení hodnot pixelů.
• Pojmy jsou zavedeny pro šedotónové obrazy.
• V případě barevných obrazů je vše složitější, vyjádření trojice hodnot pro každou barvu z barevného modelu není vždy vhodné.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Grafické znázornění četnosti jednotlivých barev (stupňů šedi) Rychlé vizuální posouzení kvalit obrazu.
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Globální charakteristiky obrazu
Histogram barevného obrazu
• Např. po složkách barevného modelu.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Text
ura
Textura je když.
• Textura je zastřešující pojem kvalit jako je barva, homogenita, pravidelnost, hrubost, hladkost, ...
• Existuje několik definic, ale ani jedna není obecně akceptovaná.
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Textura
Text
urni míry
• Texturní míra je číslo nějakým způsobem kvantifikující texturu.
• Texturu lze kvantifikovat různými přístupy, např.:
• Statistický přístup.
• Přístup založený na modelu.
• Přístup založený na transformacích.
• . ..
• Využití kvantifikace textury:
• Segmentace - hledání objektů.
• Klasifikace - určení charakteru objektu.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
var
Ohraničení tvaru
• Manuálně - člověk přesně určí hranice.
• Poloautomaticky - člověk zhruba určí hranice, počítač vylepší.
• Automaticky - určení hranic bez asistence člověkem.
• Řada poměrně důmyslných algoritmů pro určení hranice.
o Určení hranice objektu bez asistence a bez apriorní znalosti o přibližném tvaru objektu je poměrně náročná úloha.
• Výsledky různých přístupů se mohou lišit.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Tvar
Popis tvaru
• Popis tvaru je obvykle komplikovaný.
• Obecný tvar:
• počet pixelů, poměr obvodu a obsahu,...
• Matematicky spíše více důmyslné postupy
• Apriorní znalost o tvaru - lze vyjít z geometrie.
• Z popisu tvaru v řezu lze odhadovat objem - stereologie.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
• Operace s každým bodem obrazu, definovaným způsobem mění histogram.
9 Výsledek operace je pro každý pixel určen jen jeho hodnotou.
• Řada jednoduchých operací:
• úpravy jasu,
• úpravy kontrastu, o prahová ní,
• okno,
• ekvalizace histogramu.
• Vlivem zaokrouhování prakticky vždy ztráta informace.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Operace s obrazem
Operace s histogramem: Přičtení konstanty
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Operace s obrazem
Operace s histogramem: Násobení konstantou
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
□
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF MU
Operace s obrazem
Operace s histogramem: Okno
1 ■ White					
					W hite/2
/		/			W hite/2
	0 k	L	á	HU	
	F i-		-►		
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF MU
Operace s obrazem
Filtrování
I
• Lokální operace nahrazující pixel kombinací hodnot z jeho okolí.
• Okolím může být i jen jeden bod - např. prahování.
• Lineární filtry
• Lineární kombinace hodnot z okolí.
• Průměr, gradient, gausovské rozostření,...
• Filtrace je rychlá, teoreticky nezáleží na pořadí filtrů.
9 Nelineární filtry
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF MU
Operace s obrazem
Potlačení šumu
• Sum je nežádoucí informace, která se přidala k signálu.
■v
• Sum je třeba potlačit nebo eliminovat.
■v
o Sum má obvykle stochastický charakter:
• Opakované pořízení snímku a průměr/medián pixel po pixelu.
• Jeden snímek, podle charakteru filtr - průměr, medián, minimum, maximum,. . .
• Potlačením šumu dochází i k větší či menší degradaci obrazu.
• Někdy šum nemá stochastický charakter, např. speckle.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF MU
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF MU
» Obrazy lze slučovat jako celky.
• Kombinace zpracovaného a nezpracovaného (viz předešlý)
• Kombinace snímků za různých podmínek nebo v různých modalitách:
• DSA - rozdíl nativního RTG a RTG po podání kontrastu.
• CT/PET - fúzní snímky výpočetní a pozitronové emisní tomografie.
• Elektronový a konfokální mikroskop.
• Elastografie.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Operace s obrazem
LUT (Look-Up Table)
• Lidské oko odliší v jedno snímku jen poměrně málo odstínů téže barvy.
• Pro zvýšení vnímaného rozsahu lze použít falešné barvy.
• Jasům se přiřazují barvy podle LUT.
• Omezené využití.
Sci Rep 2013 13;3:1255.
M. Dostál, J. Šrámek, V. Mornstein	BFU LF MU
Základy zpracování obrazové informace	
Operace s obrazem
Matematická morfologie
• Matematicky hutné a mocné nelineární filtry.
• Výpočetně náročné, proto četná zjednodušení.
• Základními operacemi jsou dilatace a eroze daným strukturním elementem.
• Z nich se odvozují další, např. otevření nebo uzavření.
• Granulometrické spektrum - měření velikosti částic v obraze.
ImageJ
Programy pro práci s obrazem
• Public domain.
9 Napsaný v Javě, tedy multiplatformní.
• Spravuje National Institutes of Health (USA), o Primárně zpracování mikroskopických snímků.
• Velké množství plug-in pro další a další funkce
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
< □
= ►
BFU LF MU
Programy pro práci s obrazem
Gimp
• GNU GPL.
• Porty pro Linux, Unix, Windows i Mac OS X.
• Standardní grafický program pro práci s obrazy.
o Vestavěné filtry vč. možnosti definovat si vlastní lineární filtr.
GNU Image Manipulation Program
□
SP
= ►
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF MU
Octave
Programy pro práci s obrazem
• GNU GPL.
• Porty pro Linux, Unix, Windows i Mac OS X.
• Jde vlastně o programovací jazyk vyšší úrovně.
• Výrazná kompatibilita s matlabem.
• Jazyk orientovaný na práci s maticemi. 9 Knihovna pro práci s obrazy.
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
< □
= ►
BFU LF MU
o http://www.med.muni.cz/biofyz/lmage/
• G. Dougherthy: Digital image processing for medical applications. CUP 2009
• R. C. Gonzales, R. E. Woods: Digital image processing. Pearson Prentice Hall 2008
a D. Martišek: Matematické pricnipy grafických systémů. Littera 2002
• L. Velho a kol.: Image processing for computer graphics and vision. Springer 2008
• J. Žára a kol.: Moderní počítačová grafika. Computer Press 2004
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
O S obrazovými daty lze provádět řadu netriviálních operací.
O Pokud se do toho chceme pustit, je dobré si přizvat odborníka.
O Úpravami se do obrazu nedoplní informace, která tam už nebyla. Může se pouze nějaká informace ztratit.
i
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M
Děkuji za pozornost
Prostor pro dotazy
Jean-Francois de Troy: Lecture dans un salon ou La lecture de Moliěre
M. Dostál, J. Šrámek, V. Mornstein Základy zpracování obrazové informace
BFU LF M