Lektor: Kurz: SNÍMÁNÍ OBRAZU VIDEOTECHNIKA A MULTIMÉDIA Kamil Říha SNÍMÁNÍ OBRAZU Videotechnika a multimédia 2 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Princip převodu světelné energie na elektrickou Vnější fotoelektrický jev: - při dopadu fotonu na povrch některých kovů jsou z povrchu tohoto materiálu emitovány elektrony - využito u snímacích elektronek ve formě fotoemisní vrstvy na anodě Vnitřní fotoelektrický jev: - uvolněné elektrony zůstávají v materiálu jako vodivostní elektrony - zejména polovodiče, v nichž jsou tímto způsobem uvolňovány elektrony - typicky z přechodu PN (solární článek) emitované elektrony světlo fotorezistor SNÍMÁNÍ OBRAZU Videotechnika a multimédia 3 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií První řádkový rozklad (převod obrazu na 1D signál) Nipkowův kotouč (1884): - využívá jeden senzor (neakumulační princip) - počet otvorů odpovídá počtu řádků SNÍMÁNÍ OBRAZU Videotechnika a multimédia 4 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Snímací elektronky Ikonoskop (fotoemisní): - první šířeji využívaná - akumulační princip - diskrétní pole fotocitlivých prvků (kapacitorů) se postupně nabíjí elektronovým paprskem - za dobu jednoho snímku se buňky ve tmě vybijí - osvětlená buňka zůstává nabitá díky fotoemisi - nabíjecí proud inverzně definuje osvětlení elementu By Vladimir Zworykin (US patent 2021907, Fig. 1) [Public domain], via Wikimedia Commons from Wikimedia Commons US patent Vladimir Zworykin, 1931 SNÍMÁNÍ OBRAZU Videotechnika a multimédia 5 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Snímací elektronky By Edward M. Noll [Public domain], via Wikimedia Commons from Wikimedia Commons slídová destička stříbrné granule sběrací kroužek vychylovací cívky elektronové dělo řídicí mřížka první anoda druhá anoda výstupní signál signálová elektroda Ikonoskop - princip: - slídová destička s rastrem fotosenzitivních granulí - pixelů - buňka ze stříbra s vrstvou cesia - stříbrná signálová elektroda - elektronové dělo dodává buňkám konstantní množství náboje - světlo emituje náboj, který při opětovném nabití buňky paprskem zůstává nevyužit a odráží se do trubice, kde je zachycen kroužkem - náboj odpovídá osvětlení dané buňky a způsobí anodový proud, který je invertován jako výstup SNÍMÁNÍ OBRAZU Videotechnika a multimédia 6 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Snímací elektronky Vidikon (fotorezistivní): akumulační princip, speciální fotorezistivní vrstva (spojitá, ale s potlačenou podélnou vodivostí s příčnou kapacitou) vybíjí síť paralelních kapacitorů, která je nabíjena elektronovým paprskem. Anodový proud je tedy přímo úměrný osvětlení. katoda vychylovací cívkazaostřovací cívkaobjektiv sklo průhledná vodivá vrstva (signální elektroda) fotorezistivní vrstva kolimační mřížka elektronový paprsek vychylovací cívka 1950 SNÍMÁNÍ OBRAZU Videotechnika a multimédia 7 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií PN E Fotoelektrický jev na PN přechodu: fotodioda (opakování) SNÍMÁNÍ OBRAZU Videotechnika a multimédia 8 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií PN E Fotoelektrický jev na PN přechodu: fotodioda (opakování) SNÍMÁNÍ OBRAZU Videotechnika a multimédia 9 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií PN E I Fotoelektrický jev na PN přechodu: fotodioda (opakování) • solární, fotovoltaický článek SNÍMÁNÍ OBRAZU Videotechnika a multimédia 10 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií CCD (Charge Coupled Devices) Princip elementární buňky polovodič P SiO2 (izolace) průsvitná elektroda SNÍMÁNÍ OBRAZU Videotechnika a multimédia 11 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií CCD (Charge Coupled Devices) Princip elementární buňky: - světelná energie uvolňuje elektrony - elektrony se shromažďují pod elektrodou - množství elektronů v potenciálové jámě je přímo úměrné intenzitě a době osvětlení polovodiče - po naplnění jámy na maximum dojde saturaci („přepal“) - problémem je „čtení“ náboje z pole elementárních buněk polovodič P SiO2 (izolace) + V průsvitná elektroda SNÍMÁNÍ OBRAZU Videotechnika a multimédia 12 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Princip čtení z nábojově vázaného registru fáze integrace náboje pod elektrodou + V 0 V 0 V 0 V 0 V SNÍMÁNÍ OBRAZU Videotechnika a multimédia 13 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií + V + V 0 V 0 V 0 V Princip čtení z nábojově vázaného registru SNÍMÁNÍ OBRAZU Videotechnika a multimédia 14 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií 0 V + V 0 V 0 V 0 V Princip čtení z nábojově vázaného registru SNÍMÁNÍ OBRAZU Videotechnika a multimédia 15 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií 0 V + V + V 0 V 0 V Princip čtení z nábojově vázaného registru SNÍMÁNÍ OBRAZU Videotechnika a multimédia 16 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií 0 V 0 V + V 0 V 0 V Princip čtení z nábojově vázaného registru SNÍMÁNÍ OBRAZU Videotechnika a multimédia 17 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií 0 V 0 V + V + V 0 V Princip čtení z nábojově vázaného registru SNÍMÁNÍ OBRAZU Videotechnika a multimédia 18 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií 0 V 0 V 0 V + V 0 V Princip čtení z nábojově vázaného registru SNÍMÁNÍ OBRAZU Videotechnika a multimédia 19 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií 0 V 0 V 0 V + V + V Princip čtení z nábojově vázaného registru SNÍMÁNÍ OBRAZU Videotechnika a multimédia 20 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií 0 V 0 V 0 V 0 V + V Princip čtení z nábojově vázaného registru výstupní zesilovač SNÍMÁNÍ OBRAZU Videotechnika a multimédia 21 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Konstrukce CCD prvků • MOS kapacitor • náboj blízko k elektrodě (k izolaci) • větší ztráty při přesunu • MOS kapacitor s tzv. pohřbeným kanálem (buried channel) • přesouvaný náboj je v depletiční oblasti PN přechodu (fotodioda) polovodič P SiO2 (izolace) polovodič N polovodič P SiO2 (izolace) Metal Oxide Semiconductor SNÍMÁNÍ OBRAZU Videotechnika a multimédia 22 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Archtektura čtení CCD buněk celosnímkový přenos (full frame) snímací část výstupní registr • nejjednodušší princip • každý řádek musí být postupně přesunut vertikálně do výstupního registru a poté ještě čten v horizontálním směru • relativně pomalé čtení • integrace jasu a vyčítání dat může probíhat současně bez oddělení obou etap závěrkou, za dobu čtení se však obrazy prolínají (rozmazání zejména vysokých jasů) • odstranění prolínání vyžaduje mechanickou závěrku, která zabrání osvitu v době čtení • závěrka jako mechanický prvek je problematická (poruchová, drahá…) SNÍMÁNÍ OBRAZU Videotechnika a multimédia 23 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Archtektura čtení CCD buněk snímkový přenos (frame-transfer) paměťová část snímací část výstupní registr • rychlý přesun (< 1 ms) dat do zakryté paměťové části • následné vyčítání z paměťové části do výstupního registru a výstupního zesilovače (převodníku náboj/napětí) může probíhat už ve fázi osvitu (integrace) snímací části • vyšší pořizovací náklady než u dalších architektur (dvojnásobná plocha snímače) • současná integrace jasu a vyčítání dat bez oddělení obou etap závěrkou vede k částečnému prolínání dvou snímků (lehké rozmazání zejména vysokých jasů) • odstranění prolínání vyžaduje mechanickou závěrku, která zabrání osvitu v době čtení SNÍMÁNÍ OBRAZU Videotechnika a multimédia 24 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Archtektura čtení CCD buněk meziřádkový přenos (interline-transfer) snímací část výstupní registr • každý fotocitlivý element má přiřazený paměťový prvek • velmi rychlý přesun z osvícené do paměťové části po skončení integrační fáze • fotocitlivá plocha je snížena o plochu paměťových buněk → méně dopadající světelné energie → menší citlivost • nevýhoda malé citlivosti se dá kompenzovat použitím mikro čoček přímo na čipu: problematické pro paprsky, které nedopadají na čip kolmo • při přesvětlení vzniká rozmazání, kdy fotony vnikají do přilehlých registrů SNÍMÁNÍ OBRAZU Videotechnika a multimédia 25 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Archtektura čtení CCD buněk kombinace meziřádkového a snímkového přenosu snímací část • téměř okamžitý přenos náboje z osvětlené oblasti → odstranění vertikálního rozmazání • stejně jako při snímkovém přenosu: vyčtená data jsou zpracovávána v době integrace osvětlení paměťová část ELEKTRONICKÁ ZÁVĚRKA: • řízení doby osvitu nezávisle na délce trvání jednoho snímku • na rozdíl od mechanické závěrky snadno dosáhne velmi krátkých expozičních časů • problémem je zkreslení při postupném vyčítání pixelů zachycujících velmi rychlé děje výstupní registr SNÍMÁNÍ OBRAZU Videotechnika a multimédia 26 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Technologie CMOS • Complementary metal-oxidesemiconductor, též Active Pixel Sensor • každý pixel obsahuje několik MOSFET tranzistorů s komplementární funkcí • MOSFET: MOS Field-Effect Tranzistor, též unipolární tranzistor – tranzistor řízený polem • vysoký vstupní odpor umožňuje řídit otvírání kanálu S/D čistě napěťově • nízká spotřeba • snadná integrace: výrobní technologie podobná výrobě mikroprocesorů polovodič P Metal Oxide Semiconductor polovodič N polovodič N Gate Source Drain (Body) G S D SNÍMÁNÍ OBRAZU Videotechnika a multimédia 27 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií RESET VCC ČTENÍ Technologie CMOS – základní princip • hlavní fotocitlivý prvek je fotodioda v závěrném směru • na začátku je po sepnutí spínače RESET nabit kondenzátor na referenční hodnotu • v průběhu expoziční fáze je spínač RESET rozepnut a fotodioda vybíjí kapacitor: více světla → menší napětí na kapacitoru • spínač ČTENÍ připojuje na výstupní svorku napětí na kondenzátoru • výstupní napětí je nepřímo úměrné množství světla a době expozice SNÍMÁNÍ OBRAZU Videotechnika a multimédia 28 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií RESET VCC T1 T2 T3 ČTENÍ výstup Technologie CMOS – 3T pixel • hlavní fotocitlivý prvek je fotodioda v závěrném směru • na začátku je po sepnutí T1 nabit kapacitor na referenční hodnotu • v průběhu expoziční fáze je T1 rozepnut a fotodioda vybíjí kapacitor: více světla → menší napětí na kapacitoru • T2 (sledovač) zabraňuje vybití kapacitoru během čtení • T3 je sepnut → na výstupu je napětí úměrné napětí na kapacitoru • existují složitější varianty s větším počtem tranzistorů (4 – 6T) SNÍMÁNÍ OBRAZU Videotechnika a multimédia 29 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Dynamický rozsah • jednotka: expoziční stupeň EV (Exposure Value) 𝐸𝑉 = log2 𝑁2 𝑡 , kde 𝑁 je clonové číslo a 𝑡 je expoziční doba pro 𝑁 = 𝑡 = 1 je tedy 𝐸𝑉 = 0 • změny clonového čísla v řadě 1; 1,4; 2, 2,8; 4; 5,6; 8; 11; 16; 22; 32 a oktávové změny expozičních dob tedy vedou k jednotkovým skokům EV • častěji používáno jako relativní korekce expozice např. vůči hodnotě vypočtené automatikou fotoaparátu/kamery • celkový rozsah čipu je obtížně měřitelný, protože je spjatý s pojmy ISO a šum • ISO: nastavitelná citlivost čipu, většinou od 100, končí typicky např. 6400 • změna ISO na dvojnásobek znamená zvýšení expozice o 1 EV • změna ISO na polovinu znamená snížení expozice o 1 EV • (zdvojnásobnení citlivosti umožní použití polovičního expozičního času) SNÍMÁNÍ OBRAZU Videotechnika a multimédia 30 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Dynamický rozsah • změna citlivosti u digitálního aparátu znamená pouze jiné využití dat ze snímače • zvýšení ISO znamená zvýšení oblasti zatížené šumem ISO 100 ISO 200 SNÍMÁNÍ OBRAZU Videotechnika a multimédia 31 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Dynamický rozsah • změna citlivosti u digitálního aparátu znamená pouze jiné využití dat ze snímače • zvýšení ISO znamená zvýšení oblasti zatížené šumem • využitelný jasový rozsah tedy souvisí s únosnou mírou šumu a s možnostmi expozice: např. čas, či clona, které mohou být podmíněny záměrem fotografa ISO 100 ISO 400 ISO6400 SNÍMÁNÍ OBRAZU Videotechnika a multimédia 32 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií CCD vs. CMOS CCD + využívá větší plochu pro integraci osvětlení → větší citlivost + menší úroveň šumu - vyšší spotřeba energie - pixely se mohou navzájem ovlivnit, typicky při vysokých jasech - limitovaná rychlost čtení - malý dynamický rozsah • v současnosti využívány hlavně v průmyslových aplikacích a pro astronomické snímky CMOS + každý pixel je zpracováván samostatně + izolované pixely → větší odolnost proti vzájemnému ovlivnění + nižší spotřeba energie + výrobní technologie umožňuje kombinaci snímání a zpracování na jednom čipu, více pixelů na čipu - fotocitlivá plocha zmenšena kvůli dodatečné elektronice → menší citlivost (možnost umístit elektroniku za světlocitlivou vrstvu) - vyšší úroveň šumu - malý dynamický rozsah SNÍMÁNÍ OBRAZU Videotechnika a multimédia 33 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Možnosti, jak se vyhnout zašuměným snímkům • snažit se vždy maximálně využívat nativní dynamický rozsah snímače • pokud to záměr a světelné podmínky dovolí, používat co nejnižší hodnoty ISO • problém: delší expozice → možnost rozmazání pohybu, chvěním • problém: menší clona (otevřený objektiv) → malá hloubka ostrosti • pracovat s dostatečně velkým snímačem (s dostatečně velkými fyzickými rozměry pixelu) malý pixel → menší náboj → větší vliv šumu • využít či dosáhnout dostatečného osvětlení snímané scény (zábleskové osvětlení, odrazové desky…) • při velmi dlouhé době expozice se projeví tzv. temný proud – šum (generování náboje) za tmy • ochlazením (vyhnutím se používání za vyšších teplot) čipu/aparátu např. v technických aplikacích SNÍMÁNÍ OBRAZU Videotechnika a multimédia 34 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Velikosti snímačů střední formát full frame APS-H APS-C 4/3 1‘‘ velikost senzoru [mm] 53,7×40,2 36×24 28,7×19 22,2×14,8 17,3×13 13,2×8,8 crop faktor [-] 0,64 1,0 1,3 1,6 2 2,7 plocha [mm2] 2 159 864 548 329 225 116 střední formát (Kodak) full frame APS-H (Canon) APS-C (Nikon DX, Pentax, Sony) APS-C (Canon) Foveon (Sigma) 4/3'' 1'' (Sony, Nikon) 2/3'' 1/1,8'' 1/2,5'' crop factor: koeficient pro přepočet ohniskové vzdálenost, jakou by měl daný objektiv se stejným zorným polem pro snímač o velikosti full frame (kinofilmu) SNÍMÁNÍ OBRAZU Videotechnika a multimédia 35 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Velikosti snímačů střední formát full frame APS-H APS-C 4/3 1‘‘ velikost senzoru [mm] 53,7×40,2 36×24 28,7×19 22,2×14,8 17,3×13 13,2×8,8 crop faktor [-] 0,64 1,0 1,3 1,6 2 2,7 plocha [mm2] 2 159 864 548 329 225 116 crop factor: koeficient pro přepočet ohniskové vzdálenost, jakou by měl daný objektiv se stejným zorným polem pro snímač o velikosti full frame (kinofilmu) Např. ohnisková vzdálenost 100 mm (APS-C) = 160 mm (full frame) APS-C ×1,6 = full frame SNÍMÁNÍ OBRAZU Videotechnika a multimédia 36 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Optické dělicí soustavy pro barevné snímání Soustava dichroických zrcadel (využití spíše u elektronkových kamer) SNÍMÁNÍ OBRAZU Videotechnika a multimédia 37 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Optické dělicí soustavy pro barevné snímání Soustava dichroických hranolů (dichroický hranol) A B C objektiv odrazová vrstva pro modré světlo (zbytek spektra prochází) odrazová vrstva pro červené světlo (zelené prochází) vzduchová mezera světlo pro snímač modrého kanálu světlo pro snímač zeleného kanálu světlo pro snímač červeného kanálu By Dick Lyon, en:User:Cburnett, and Xingbo via Wikimedia Commons from Wikimedia Commons využití: u tzv. 3CCD, 3MOS, 3CMOS atp. kamer, kde je každý kanál snímán zvláštním monolitickým snímačem SNÍMÁNÍ OBRAZU Videotechnika a multimédia 38 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Barevný filtr pro monolitické snímače • existuje celá řada možností, jak filtrovat barevné složky pro matici subpixelů • princip: filtrace barevných složek definujících barvu jednoho pixelu • nejpoužívanější: Bayerova maska (1976) • další, méně často používané masky: RGBE CYYM CYGM RGBW … SNÍMÁNÍ OBRAZU Videotechnika a multimédia 39 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Barevný filtr pro monolitické snímače • interpolace - „odmozaikování“ (demosaicing) čtvrtinové oproti počtu elementů stejný počet pixelů jako elementů • v praxi počítáno složitějšími technikami (lokální přizpůsobení, potlačení šumu…) SNÍMÁNÍ OBRAZU Videotechnika a multimédia 40 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Trendy vývoje nových snímacích technologií • monolitické snímače bez mozaik snižujících kvalitu detailů … ? • např. Foveon X3 (Sigma): využívá fyzikálního principu, kdy světlo různých vlnových délek proniká do různé hloubky křemíkového substrátu (podle energie, tj. modrá nejméně, následuje zelená, nejhlouběji proniká červená složka) • náboje ze tří rozdílných vrstev jsou vyčítány samostatně • plocha jednoho pixelu je definována třemi RGB hodnotami křemíkovýsubstrát oblast absorbující modrou barvu oblast absorbující zelenou barvu oblast absorbující červenou barvu SNÍMÁNÍ OBRAZU Videotechnika a multimédia 41 / ?? Kamil Říha Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií Děkuji za pozornost