Analýza obrazu Zuzana Sumbalová Koledová Analýza obrazu – načo? • Mikroskopovacie experimenty poskytujú: • Kvalitatívne data • Kvantitatívne data (zmysluplné čísla a štatistiky) Digitálny obraz • Obrázok je sústava čísel reprezentujúca hodnoty intenzity • Zapísaný ako matrix digitálních čísel od 0 do 255 • Väčšina postupov analýzy obrazu pracuje na základe týchto čísel Typy obrázkov Farebné RGB obrázky (brightfield/histológia) Obrázky v odtieňoch šedej (fluorescencia) Obrázky zložené z viac kanálov Bity – hĺbka farieb Farebné rozlíšenie/hladiny šedej 1-Bit 21 = 2 2-Bit 22 = 4 3-Bit 23 = 8 8-Bit 28 = 256 12-Bit 212 = 4096 16-Bit 216 = 65536 • Väčšina mikroskopov: 8-bit • 12-bit a 16-bit hĺbky sú lepšie na kvantifikáciu • Hĺbky farieb v bit (hodnoty šedej) sú absolútne (nie negatívne čísla) LUTs (Look Up Tables) • Spôsob mapovania farieb na definované hodnoty šedej • Nemenia intenzitu, len spôsob zobrazenia Farbosleposť a LUTs • Pri zobrazovaní obrázkov myslite na to, ako ich vnímajú iní – predovšetkým farboslepí ľudia Farbosleposť a LUTs • Pri zobrazovaní obrázkov myslite na to, ako ich vnímajú iní – predovšetkým farboslepí ľudia Red / Green / Blue Magenta / Green / Blue Normálne videnie Červeno-zelená farbosleposť Normálne videnie Červeno-zelená farbosleposť FIJI: Image > Colour > Simulate colour blindness Dimenzie/rozmery mikroskopických obrázkov Šírka = X Výška = Y Hĺbka = Z Kanál = C Čas = T Mnohorozmerné datasety *Poradie ukladania dát sa môže líšiť medzi rôznymi systémami Veľkosť pixelu • Vlastnosť, ktorú definujete pri získavaní dát • Viac pixelov na plochu – lepšie rozlíšenie objektu v obrázku • Menšie pixely či viac pixelov nie vždy znamenajú väčšie rozlíšenie Príklad veľkosti pixelu = 2 μm Príklad veľkosti pixelu = 1 μm Príklad veľkosti pixelu = 0,2 μm Príklad veľkosti pixelu = 0,1 μm Rozlíšenie • Vlastnosť mikroskopu • Schopnosť rozlíšiť dva objekty • Väčšie zväčšenie neznamená vždy väčšie rozlíšenie Rozlíšenie v biologickom kontexte 20x 0.8 NA 40x 1.3 NA Pomer signálu k šumu (Signal to Noise Ratio, SNR) Signál = objekt, ktorý nás zaujíma Šum = pozadie Čím vyššie SNR, tým lepšie - Uľahčuje segmentáciu - Pomáha rozlíšiť objekty od pozadia Nesaturujte obrázky! • Dôležité – nepreexponovávať obrázky • Strata dát saturáciou • Neschopnosť rozlíšiť objekty v saturovanej oblasti • Plánujte do budúcnosti – môže sa hodiť neskôr na kvantifikáciu Vzdialenosť (pixel) Histogram obrázku • Reprezentácia intenzity pixelov • Distribúcie frekvencií intenzity jednotlivých pixelov pre každý pixel obrázku Dôležitá konzistencia snímania • Čas expozície (kamera) a prídavok fotomultiplikátora musia zostať rovnaké naprieč všetkými vzorkami experimentu • Platí i pre intenzitu lampy, silu lasera, veľkosť pinhole atď. Premyslite výsledok experimentu • Pri nastavovaní snímania treba myslieť na najjasnejšie aj najtmavšie vzorky – zmenia sa intenzity počas experimentu? Frekvencia vzorkovania • Mikroskopické obrázky sú digitálnou reprezentáciou prírodných udalostí (analógové). Preto ich musíme vzorkovať frekvenciou, ktorá reprezentuje to, čo snímame • Nyquist = 2.3x Ako získať dobrý obrázok • Použite indikátory rozsahu • ukážu overexpozíciu • Použite optimálne nastavenie • správny počet a veľkosť pixelov • Dobre naplánujte experiment • Objektív, počet Z krokov, počet časových bodov • Zmena jasnosti objektov • Kontroly Formáty obrázkov • JPEG – stratový, nepoužívať! • TIFF – bezstratový a dobrý klasický formát obrázku • Špecifické formáty pre daného producenta zariadenia – najlepšie pre skladovanie relevantných metadát • .czi, .oir, .sld, .nd2, .lsm • Najlepšie kompatibilné s „Bio-Formats“ vo FIJI/ImageJ Základné pravidlá pre prácu s obrázkami z mikroskopov • Vedecké digitálne obrázky sú data, ktoré môžu byť kompromitované nesprávnou manipuláciou • Manipuláciu digitálnych obrázkov vždy robíme na kópii originálu – vždy zachovajte originálny súbor nezmenený! • Jednoduché úpravy celých obrázkov sú väčšinou akceptovateľné • Orezanie/zmenšenie obrázku je väčšinou akceptovateľné • Digitálne obrázky, ktoré budeme navzájom porovnávať, musia byť vyfotené za rovnakých podmienok a aj po-akvizičné procesovanie musí byť identické • Manipulácie, ktoré sú robené len na časti obrázku ale nie na iných častiach obrázku, sú spochybniteľné Základné pravidlá pre prácu s obrázkami z mikroskopov • Používanie softvérových filtrov na zlepšenie kvality obrázkov nie je odporúčané • Klonovanie či kopírovanie objektov do digitálneho obrázka z iných častí obrázku alebo z iného obrázku je veľmi pofidérne • Merania intenzity by mali byť robené na uniformne spracovaných dátach, ktoré by mali byť kalibrované k známemu štandardu • Vyhýbajte sa stratovej kompresii • Veľkosť a rozlíšenie sú dôležité • Pozor na zmenu veľkosti obrázku (v pixeloch) Manipulácie obrázkov – selektívne zvýraznenie Manipulácie obrázkov - orezávanie Manipulácie obrázkov - klonovanie Originálny ilustratívny snímok: Peter Koopman Analýza obrazu Korekcia obrazu od klasických artefaktov • Korekcia pozadia • čisto matematické – kamera má nenulový offset • Reálne pozadie – autofluoescencia média, fluorescencia pozadia, svetlo miestnosti… • Snaha o korekciu odčítaním tohoto pozadia • Zmeranie/odhad pozadia, potom odčítanie • Tmavý snímok z kamery alebo nenafarbená vzorka, ktorá nemá mať signál Odhad pozadia z obrázku Intenzita pixelov Číslo V prípade nerovnomerného pozadia možno odčítať rôzne pozadie pre rôzne časti obrázku Tmavý obrázok • Získaný kamerou, kterou neprechádza svetlo • Umožňuje zmerať pozadie prístroja • Pomáha detekovať reálnu autofluorescenciu pozadia od offsetu kamery Korekcia tieňovania • Meranie a korekcia nerovnomernosti v osvetlení a detekcii (pixely v strede sú svetlejšie ako na krajoch obrázku) • zosnímanie rovnomerne fluorescenčnej vzorky Izmeraný = Ireálny * Tieňovanie + Tmavý obraz Ireálny = (Izmeraný - Tmavý obraz)/Tieňovanie Digitálne filtre • Priemerovanie – vyhladzovanie • Gausovské vyhladzovanie 1 1 1 1 1 1 1 1 1 0 1 2 1 0 1 6 10 6 1 2 10 16 10 2 1 6 10 6 1 0 1 2 1 0 Prečo vyhladzovať? • Vyhladenie malých artefaktov • Ak je váš obrázok správne zosnímaný, funkcia rozptylu bodu bude rozptýlená naprieč mnohými pixelmi • Správne využitie tejto redundancie vyžaduje dekonvolúciu • Vyhladenie pomáha redukovať artefakty šumu jednotlivých pixelov, ktoré nie sú reálne Priemerovanie/vyhladzovanie: spriemerovanie redundancie, potlačenie šumu Obrázok so šumom Filter s Gausovským vyhladením,  = 1 pixel Detekcia okraja 1 1 1 0 0 0 -1 -1 -1 1 2 1 0 0 0 -1 -2 -1 Užitočné pre hľadanie okrajov, zvýraznenie prechodov Filtre zvýrazňujúce kontrast • Zvýraznenie výrazných pixelov obklopených slabými pixelmi • Rozostrenie (unsharp) • Laplacovský • Laplacovský na Gausovskom -1 -4 -1 -4 26 -4 -1 -4 -1 Nelineárne filtre • Mediánové filtrovanie – nahradenie centrálního pixelu hodnotou mediánu v štvorci • Užitočné na vyhladenie za zachovania okrajov Thresholding • Bežná technika na identifikáciu objektov v obrázku Separovanie na popredie a pozadie Thresholding – nastavenie hraničnej hodnoty Problém tohoto prístupu • Naklonený jasnejším objektom • Ideálne je použiť druhý kanál na nezávislé definovanie veľkosti objektov merania Binárny obraz • Výsledok thresholdingu; 1 je v objekte, 0 všade inde • Dá sa použiť na identifikáciu objektov • Možno ďalej manipulovať Erózia/rozšírenie • Štruktúrny element: 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 erózia Erózia/rozšírenie • Štruktúrny element: 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 rozšírenie 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Ďalše binárne operácie • Sekvenčná erózia a rozšírenie – vyhladenie objektov • Vyplnenie dier • Odstránenie objektov na hraniciach Programy na analýzu obrazu: príklady Zdroje • iBiology.org: https://www.youtube.com/watch?v=jaY6S1p4i3A • https://www.youtube.com/watch?v=qkgADgd7xu0