ZÁKLADNÍ PRINCIPY ANALÝZY OBRAZU Příklady analýzy obrazu Radek Fedr Credit: Dr Jônatas Bussador do Amaral (Dr Gláucia Maria Machado Santelli) | Nikon Small World ISO ChK1 Specifický ChK1 78.436 jader 33.321 jader ANALÝZA TKÁNÍ  16 tkáňových řezů (8 ISO + 8 specifické)  23,3 GB dat obrazů  200 zorných polí/řez  5 684 588 jader  1,5h analýza obrazů  36 parametrů/jádro  40 GB dat celkem OBRAZOVÁ CYTOMETRIE  Pixel  Intenzita - pixel  Distribuce  Obraz, Projekce  Graf, Model  Tracking/Sledování PRŮTOKOVÁ CYTOMETRIE  Pulz  Intenzita - částice  Distribuce  Histogram/Bodový graf  End-point SROVNÁNÍ Ukázka Vzorek Rozlišení Fluorescenční parametry Rychlost Data Kvantifikace Počet buněk Mikroskopie 2D, 3D 100nm 1-5 100 buněk/s 100GB Přesná 101-106 Průtoková cytometrie Suspenze 1částice/1µm 10+ 10000 buněk/s 100MB Přesná 104-107 Příprava vzorku POSTUP Snímání Uložení dat Zpracování Analýza Vyhodnocení dat PŘÍPRAVA A SNÍMÁNÍ  živé  fixované  2D  3D Vzorek Mikroskopie  průchozí světlo  fázový kontrast  fluorescence  konfokální  holografická  elektronová suspenze  monovrstvy  kokultivace  tkáň  sferoidy  organoidy Experiment PŘÍPRAVA A SNÍMÁNÍ  podložní sklo  ztenčené dno  více-jamkové desky Plast Rozlišení  objektiv  bitová hloubka  počet barev Numberofpixels Grey levels Grey levels Numberofpixels  Příprava vzorku  Automatické Hledání  Zaznamenání  Popis  Vyhodnocení  Automatické  Automatické  Automatické SNÍMÁNÍ MIKROSKOP Olympus IX70 Olympus FV10i MD ImageXpress Micro Leica SP5/SP8 TissueFAXS Plus Olympus/Leica SOFTWARE DATA “THE FIRST RULE OF ANY TECHNOLOGY USED IN A BUSINESS IS THAT AUTOMATION APPLIED TO AN EFFICIENT OPERATION WILL MAGNIFY THE EFFICIENCY. THE SECOND IS THAT AUTOMATION APPLIED TO AN INEFFICIENT OPERATION WILL MAGNIFY THE INEFFICIENCY.” Bill Gates FLUORESCENCE FLUOROCHROM  Síla fluorescence fluorochromů není stejná!  spectraviewer  www.fluorofinder.com FLUOROCHROM  Různý JAS fluorochromů  Různá stabilita/životnost fluorochromů  Nejméně exprimovaný protein = nejsilnější fluorochrom  Silně exprimovaný protein = slabší fluorochrom  Historicky 488nm argonový laser – FITC vs. Alexa Fluor 488 etc. SNÍMÁNÍ OBRAZU  Úkolem je zachytit zvětšený obraz reality  Čip / PMT / HyD detektor SNÍMÁNÍ OBRAZU  Fluorescenční mikroskop vs.  Konfokální mikroskop Fluorescenční mikroskop Konfokální mikroskop SNÍMÁNÍ OBRAZU Laser Objektiv Detektor Laser scanning Spinning disc Apertura Zrcadlo/ScannerFiltr Vzorek KONFOKÁLNÍ MIKROSKOP KONFOKÁLNÍ VS. FLUORESCENČNÍ MIKROSKOP Zaxis=DepthYaxis X axis KONFOKÁLNÍ VS. FLUORESCENČNÍ MIKROSKOP LIDSKÉ OKO  400-700 nm (380-760) Tyčinky (černobílé)  500nm, 20x více než čípků Čípky (R,G,B) (barevné)  400-500nm Modrá – 4% 440 nm  500nm-600nm Zelená - 32% 540nm  600-700nm Červená – 64% 570 nm Rozlišení 0,1-0,15mm, 25 cm  500 stupňů šedi, 10 milionů barev  Adaptace na tmu 40 min  25snímků/s pohyb, zaostření 50 věcí/s, otisk prstu 40 parametrů – duhovka 256 parametrů OBRAZ 2D tabulka pixelů ROZLIŠENÍ  počet pixelů  CMOS/CCD čipy  dpi – dots per inch  tvar objektu vs. px  zvětšení objektivu  rozlišení objektivu 12 x 16 px 321 x 428 px  Oko: 0,1-0,15mm  Mikroskop: 0,00017mm, Abbeho limit, Numerická apertura, zvětšení objektivu, vlnová délka ROZLIŠENÍ 1 x 1 px 3 x 3 px STUPNĚ ŠEDI  Hladiny 150, 145, 140  30 stupňů šedi. STUPNĚ ŠEDI  okolo 900 stupňů šedi relativně BAREVNÉ KÓDOVÁNÍ  10 milionů barev HISTOGRAM – BITOVÁ HLOUBKA 8 bit Početpixelů Grey levels 16 bit Bitová hloubka Grey levels Početpixelů ImageJ: Analyze → Histogram Image → Type HistogramOriginální obrázek HISTOGRAM – REKONSTRUKCE OBRAZU Histogram HISTOGRAM – DYNAMICKÝ ROZSAH OriginálHistogram stretching Velký dynamický rozsah Krátká expoziceDlouhá expozice Malý dynamický rozsah OriginálOdstranění pozadí ImageJ: Image → Adjust → Brightness/Contrast HISTOGRAM & LUT – LOOKUP TABLE Jak LUT funguje Intenzita na vstupu Intenzitanavýstupu 2550 255 ImageJ: Image → Lookup Tables → Invert LUT/Green HISTOGRAM & LUT – PŘÍKLADY Vstup Výstup 255 255 0 Vstup Výstup 255 255 0 Vstup Výstup 255 0 255 Jas KontrastŽádná změna Gama korekce ImageJ: Image → Adjust → Brightness/Contrast HISTOGRAM - ŠUM Gaussovský Sůl & Pepř Blur filtering Median filtering ImageJ: Process → Filters → Gaussian Blur/Median DATOVÉ FORMÁTY Tvar složený z geometrických objektů Jemná struktura Diagramy, schémata, grafy, ilustrace Typické formáty: SVG, DWG, CDR, WMF Vektorové obrazyRastrové obrazy Tvar reprezentovaný maticí pixelů Pixelace Fotorealistické obrazy Typické formáty: JPEG, GIF, TIFF, PNG DATOVÉ FORMÁTY – RASTROVÁ GRAFIKA Fotky a realistické obrazy Ztrátová komprese Jemné, pozvolné přechody Nepodporuje transparentnost Joint Photographic Expert Group (JPEG)Portable Network Graphics (PNG) Grafika, obrazy s textem, fotky Bezeztrátová komprese Velké oblasti sytých barev, ostré přechody Nepodporuje Non-RGB barevný prostor(CMYK) ImageJ: File → Save As → PNG/Jpeg DATOVÉ FORMÁTY – RASTROVÁ GRAFIKA Fotky a realistické obrazy Ztrátová komprese Jemné, pozvolné přechody Nepodporuje transparentnost Rozdělení na bloky 8x8 pixelů, 2D DCT Joint Photographic Expert Group (JPEG) ImageJ: File → Save As → PNG/Jpeg Lidský zrak je citlivý k relativně malé změně v jasu nebo v barvě na poměrně velké ploše. V rozlišování konkrétní síly rychle se měnícího jasu (vysokofrekvenční změny) je však mnohem horší. DATOVÉ FORMÁTY – RASTROVÁ GRAFIKA Fotky a realistické obrazy Ztrátová komprese Jemné, pozvolné přechody Nepodporuje transparentnost Joint Photographic Expert Group (JPEG) ImageJ: File → Save As → PNG/Jpeg DATOVÉ FORMÁTY – RASTROVÁ GRAFIKA Fotky, grafika Možnost bezeztrátové komprese Profesionální, široce podporovaný Různé barevné prostory, jakékoli rozlišení a barvy Tagged Image File Format (TIFF)Graphic Interchange Format (GIF) Grafika, loga, animace Bezeztrátová komprese Velké oblasti sytých barev, ostré přechody 8bits/pixel, 256 barev z 24bit RGB prostoru ©EMBL ImageJ: File → Save As → Gif/Animated Gif/Tiff/Compressed TIFF ZPRACOVÁNÍ – BODOVÉ TRANSFORMACE g=T(f) Vstup Výstup 255 255 0 Vstup Výstup 255 255 0 +30x 5 ImageJ: Image → Adjust → Brightness/Contrast FILTROVÁNÍ – LOKÁLNÍ ZMĚNY © 2015 Stack Exchange Inc ImageJ: Process → Sharpen/Filters → Unsharp Mask FILTROVÁNÍ – PŘÍKLADY doostření rozmazání detekce hran dekonvoluce ImageJ: Process → Sharpen/Smooth/ Find Edges Plugins → Parallel Iterative Deconvolution ky kx FILTROVÁNÍ – GLOBÁLNÍ TRANSFORMACE Konvoluce = Násobení 0 frekvence frekvence y x ImageJ: Process → FFT → FFT Fast Fourier Transformation Vzdálenost OBRAZOVÁ ARITMETIKA Sčítání + = + = ImageJ: Process → Image Calculator OBRAZOVÁ ARITMETIKA Odčítání + = - = Sčítání ImageJ: Process → Image Calculator OBRAZOVÁ ARITMETIKA Dělení x = / = Násobení ImageJ: Process → Image Calculator OBRAZOVÁ ARITMETIKA LogickéOR AND = OR = LogickéAND ImageJ: Process → Image Calculator OBRAZOVÁ ARITMETIKA – PŘÍKLADY / = Flat Field korekce Gaussian blur ImageJ: Process → Filters → Gaussian Blur → Save As Process → Image Calculator OBRAZOVÁ ARITMETIKA – PŘÍKLADY = Segmentace Maska AND ImageJ: Image → Adjust → Threshold → Save As Process → Image Calculator SEGMENTACE – MANUÁLNÍ Originální obraz Prahování Maska ImageJ: Image → Adjust → Threshold PRAHOVÁNÍ TRESHOLDING SEGMENTACE – POLOAUTOMATICKÁ Start - ROI Level sets Konec Maska ImageJ: Plugins → Segmentation → Level Sets SEGMENTACE – POLOAUTOMATICKÁ ImageJ: Plugins → Segmentation → Level Sets SEGMENTACE – STROJOVÉ UČENÍ Učení malováním MaskaOriginální obraz Kontrola a oprava Ilastik: Pixel Classification → Input Data → Feature Selection → Training → Prediction Export SEGMENTACE – AUTOMATIZOVANÁ Originální obraz Otsu - Klastrování Segmentovaný obraz Intra-class variance minimal ImageJ: Image → Adjust → Threshold → Otsu ZMĚNA MORFOLOGIE MASKY Eroze Roztažení Zavření Otevření + Structuring element ImageJ: Process → Binary → Make Binary Process → Binary → Dilate/Erode/Open /Close ZMĚNA MORFOLOGIE MASKY Originální obrazy Prahování Watershed Voda stéká do údolí ImageJ: Process → Binary → Make Binary Process → Binary → Watershed SEGMENTACE – 3D MODELOVÁNÍ Originální obraz Oprahovaná jádra 3D projekce ImageJ: Image → Adjust → Threshold → Otsu Plugins → 3D Viewer ANALÝZA - SOFTWARE CellProfiler MD Metaxpress LAS X FIJI / ImageJ Ilastik Icy OBRAZOVÁ ANALÝZA - STEREOLOGIE Velikost pixelu Plocha Intenzita (bitová hl.) Textura Morfologie x y ImageJ: Image → Properties Analyze → Analyze Particles PROBLÉMY  Doba snímání  Kvalita obrazů  Ukládání velkých obrazů  Postup analýzy  Výběr parametrů  Statistika  Vizualizace  Titrace, výběr protilátky, fluorochrom, fixace  Rubish in rubish out  100Mbit/s  Znalost SW a postupů zpracování obrazu  Odborné články  Výběr správného testu Výběr SW, Statistica, SPSS, R APLIKACE Příklady analýz ANALÝZA SFEROIDŮ PRAKTICKÁ UKÁZKA POČÍTÁNÍ BUNĚČNÝCH KOLONIÍ  Hightroughput  Průchozí světlo  Velikost kolonie  Klonogenní kapacita  Testování léčiv KVANTIFIKACE POVRCHOVÝCH MARKERŮ  Hightroughput  Jednotlivé buňky  Průchozí světlo + Fluorescence  Plasticita TROP-2  Automatizovaná procedura  Zpracování dat - histogram ANALÝZA ŽIVÝCH BUNĚK Čas (300 s) Fluo-4 (Integrovanáintenzita,a.u./buňka) IONOMYCIN©Karel Souček, Milan Ešner 3D ANALÝZY  Kvantifikace objemu  3D projekce  3D kultivace x Z DETEKCE SFEROIDŮ A INVAZIVITY  Hightroughput  Průchozí světlo  Detekce sferoidů  Detekce invadujících buněk  Plocha ANALÝZA TKÁNÍ  Hightroughput  Barevný obraz  Fluorescence  Detekce jader  Kvantifikace intenzity  Zpracování dat - R MORFOLOGIE – CELL PAINTING ANALÝZA  Nature protokol  BRAY, Mark-Anthony, et al. Cell Painting, a high-content image-based assay for morphological profiling using multiplexed fluorescent dyes. Nature protocols, 2016, 11.9: 1757.  Vysokokapacitní analýza obrazu pro vytvoření morfologického profilu buněk  6 fluorochromů/protilátek  5 kanálů  8 buněčných kompartment/organel  ~1,500 morfologických parametrů  Kultivace & Snímání obrazu = 2 týdny + počítání vlastností & analýza dat = 2 týdny CELL PAINTING – PROTILÁTKY, FLUOROCHROMY DNA Concanavalin A Glycolipids Hoechst 33342 Alexa Fluor 488 Green fluorescent AF568, AF555 Deep Red SYTO 14 Phalloidin Wheat germ agglutinin MitoTracker DAPI 387/11 417-477 377/50 417-477 Cy3 GFP TxRed Cy5 CELL PAINTING - CÍLE  Kvantifikace morfologie a rozdílů mezi buněčnými liniemi/klony  Morfologický „otisk“ (profil) buněk  Výběr parametrů s největší odlišností pro jednotlivé linie CELL PAINTING - POSTUP Výsev buněk Pátek 4 h Speciální deska Manuální, 4jamky/linie = 88 linií, 80% denzita Značení Pondělí 3 h Zavedený protokol Poloautomatické Snímání obrazů Analýza obrazů Analýza dat Pondělí 40 h Zavedený protokol 40x objektiv, Adaptivní – 1tis. buněk/jamka, 120 GB Čtvrtek 7 dní 3 protokoly Klastr, Kvalita obrazu, 1785 parametrů Další čtvrtek 2 h Skript Poloautomatické, heatmapa, PCA, Vi-SNE, Odlišné parametry CELL PAINTING - VÝSTUPY Obrázky  16bit a 12bit šedotónové  Kontrolní obrazy segmentace  240GB dat – 1 opakování Grafy  Heatmapa  PCA graf  t-SNE graf 3 Textové soubory & Excel tabulka  Jádro, Cytoplazma, Buňka  přibližně 600 parametrů z každého objektu  10 nejvýznamějších parametrů CELL PAINTING - OBRÁZKY DNA Concanavalin A Glycolipids Hoechst 33342 Alexa Fluor 488 Green fluorescent AF568, AF555 Deep Red SYTO 14 Phalloidin Wheat germ agglutinin MitoTracker DAPI Cy3 GFP TxRed Cy5 Merge Hoechst, Concanavalin A, MitoTracker 4T1 12B luc2 316 317 318 ctrl CELL PAINTING - HEATMAPA CELL PAINTING – PCA, T-SNE IMAGEJ http://imagej.nih.gov/ij/ FIJI http://fiji.sc/ CELLPROFILER http://www.cellprofiler.org/ ILASTIK http://ilastik.org/ DĚKUJI ZA POZORNOST 27.11.2018, 4.12.2018 Radek Fedr fedr@ibp.cz radek.fedr@fnusa.cz