Projekt z digitálního zpracování obrazu PV162 Fakulta informatiky Masarykova univerzita Brno PV162 Projekt z digitálního zpracování obrazu jaro 2023 Projekt z digitálního zpracování obrazu PV162 Požadavky k získání kolokvia • Vykonání práce dle oficiálního zadání pod vedením uvedeného vedoucího • Přihlášení k tématu v rozpisech v ISu do 28.2. • Nutné průběžné konzultace • Prezentace výsledků práce buď v posledním týdnu semestru nebo ke konci zkouškového období • Dopracování připomínek vzešlých z diskuse po prezentaci a odevzdání práce vedoucímu Projekt z digitálního zpracování obrazu PV162 Přehled témat • Zadání je uvedeno v ISu a bude upřesněno vedoucím, zde jsou naznačeny jen hlavní body • Zadání jsou v principu tří typů • Programátorská • Implementace zadaného algoritmu podle odborné literatury • Tvořivá • Hledání vhodného postupu pro řešení daného problému • Studie • Srovnání chování algoritmů na zadaných datech Projekt z digitálního zpracování obrazu PV162 CTC – Cell Tracking Challenge • Mezinárodní projekt řešený na FI MU • http://celltrackingchallenge.net/ • Porovnávání algoritmů pro segmentaci a sledování pohybu buněk ve videu Projekt z digitálního zpracování obrazu PV162 Kontakt: Možné programovací jazyky: Opravy segmentací buněk v časoprostoru pro CTC Cílem je vzít jako vstup existující výsledek segmentace buněk v časoprostoru (2D+t, pro troufalé i 3D+t) + originál pro určitou metodu pracující po framech bez časového kontextu a opravit ji podél časové osy (vyhladit zubatost či zaplnit časové díry). Buňky se mohou v čase dělit a vzniká stromový útvar. V rámci CTC tak vzniknou lepší výstupy a z nich lepší referenční výsledek (tzv. silver truth). Michal Kozubek Libovolný Projekt z digitálního zpracování obrazu PV162 Kontakt: Možné programovací jazyky: Vytvoření fuzzy referenčních segmentací pro CTC Cílem je vzít jako vstup existující výsledky segmentací více kvalitních metod nad trénovacími daty benchmarku Cell Tracking Challenge a z nich vytvořit jednu výslednou referenční fuzzy segmentaci (pravděpodobnostní pro každý pixel, ne binární). Lze využít i existující detekční značky buněk (vyrobené ručně pro účely trackingu v čase) a rozšířit je na plnou masku pro danou buňku s tím, že maska nebude binární, ale celočíselná (jistota 0-100%). Ve sporných oblastech může pixel patřit i více maskám (např. 30% / 70%). Jde o přípravu na benchmarking fuzzy výstupů metod strojového učení vůči fuzzy referenční segmentaci buněk. v rámci soutěže Cell Tracking Challenge Michal Kozubek Libovolný Projekt z digitálního zpracování obrazu PV162 Kontakt: Možné programovací jazyky: Studie měr/metrik na vyhodnocení fuzzy segmentací Cílem je prostudovat a naprogramovat míry/metriky vhodné na kvantitativní vyhodnocení úspěšnosti segmentace pro fuzzy případy (tedy kdy správná segmentace a/nebo algoritmem nalezená segmentace je pravděpodobnostní pro každý pixel, ne binární). Kromě publikovaných měr/metrik lze samozřejmě kreativně vymyslet další. Jde o přípravu na benchmarking fuzzy výstupů metod strojového učení vůči fuzzy referenční segmentaci buněk v rámci soutěže Cell Tracking Challenge. Michal Kozubek Libovolný Projekt z digitálního zpracování obrazu PV162 Kontakt: Možné programovací jazyky: Srovnání metod na segmentaci shluků buněk s membránovým značením Cílem projektu je seznámit se s existujícími segmentačními nástroji LimeSeg, PlantSeg a Cellpose3D a kvantitativně vyhodnotit jejich chování na dodaných trojrozměrných obrazových datech shluků buněk s membránovým značením pořízených fluorescenčním mikroskopem. Martin Maška Srovnávací studie bez programování Projekt z digitálního zpracování obrazu PV162 Kontakt: Možné programovací jazyky: Segmentace obrazu s adaptivním sdružováním Cílem projektu je seznámit se s adaptivní sdružovací vrstvou (AdaPool) v konvolučních neuronových sítích, která pomáhá zlepšit výkonnost klasifikačních a detekčních sítí, a experimentálně prozkoumat její možnosti pro segmentaci obrazu. Martin Maška Bez omezení (pravděpodobně Python) Maximální sdružování Adaptivní sdružování Projekt z digitálního zpracování obrazu PV162 Pavel Matula (spolupráce Pavel Kohoutek, Daite, s.r.o.) C++ Automatická virtuální kamera  Statický záběr videa pokrývající celé hřiště  Detekce hráčů na hřišti  Určení významného výřezu (většina hráčů v záběru)  Perspektivní zkreslení výřezu simulující otáčení kamery (Pan-Tilt-Zoom)  Další možná rozšíření nad rámec předmětu PV162  Budeme vypisovat zadání BP/DP Projekt z digitálního zpracování obrazu PV162 Kontakt: Možné programovací jazyky: Detekce perspektivní transformace hřiště Cílem projektu je vytvořit a vyhodnotit algoritmus pro detekci perspektivní transformace čar hřiště, tak aby bylo možné snadno vykreslit hranici ofsajdu do původního záznamu. Projekt navazuje na předchozí projekt. Pavel Matula (spolupráce Pavel Kohoutek, Daite, s.r.o.) C++ Projekt z digitálního zpracování obrazu PV162 Kontakt: Možné programovací jazyky: Zvýšení rozlišení obrazu využitím posunutých snímků Cílem projektu je vytvořit algoritmus pro spojení sady vzájemně posunutých snímků kvůli vibraci kamery (zhruba 6-8 pixelů) a získání obrazu s vyšším rozlišením. V navazující práci (např. BP/DP), lze využít i informace ze senzorů jako je akcelerometr a gyroskop. Pavel Matula (spolupráce SANEZOO) C++ nebo Python Projekt z digitálního zpracování obrazu PV162 Kontakt: Možné programovací jazyky: Redukce šumu v sérii obrázků ze SEM V rastrovacím elektronovém mikroskopu (SEM) obrázky často obsahují vysoký podíl šumu. Pro redukci šumu se často používá algoritmus Non-local means. Tento algoritmus má v SEMu dvě nevýhody. Prvním problémem je, že je v každém bodě třeba znalost širokého okolí. Druhým problémem je vysoká náročnost výpočtu. Z těchto důvodů se algoritmus nehodí pro live imaging, zobrazování v reálném čase. Výhodou SEM zobrazování ale je, že se při snímání zobrazuje rychle (jednotky FPS) a opakovaně stále stejná Pavel Matula (spolupráce Tescan) Libovolný oblast. Místo využití prostorové podobnosti (široké okolí) lze zřejmě využít časové posloupnosti snímků a okolí zmenšit. Cílem práce je navrhnout rychlou variantu non-local means algoritmu, který bude sice pracovat s malým okolím bodu, ale bude mít k dispozici sekvenci snímků shodné oblasti. Projekt z digitálního zpracování obrazu PV162 Kontakt: Možné programovací jazyky: Vliv PixelTCL na kvalitu segmentace Cílem projektu je vyzkoušet Pixel Transposed Convolutional Layers a udělat studii vlivu jejich použití na kvalitu segmentace obrazu. Viz také: https://github.com/divelab/PixelTCN Petr Matula Python Vstup Chtěný výsledek Segmentace bez PixelTCL Segmentace s PixelTCL Projekt z digitálního zpracování obrazu PV162 Kontakt: Možné programovací jazyky: Adaptivní vlnková transformace Předmětem tohoto projektu je výpočet dvourozměrné vlnkové transformace s využitím metod hlubokého učení [1] a srovnání s klasickou vlkovou transformací. Vlastností tohoto přístupu je přizpůsobení transformace zpracovávaným obrazovým datům. Je tedy na studentovi, jakou obrazovou datovou množinu ke zpracování zvolí. David Svoboda Python [1] Bastidas, Ximena & Gruson, Adrien & Polania, Luisa & Fujieda, Shin & Ortiz, Flavio & Takayama, Kohei & Hachisuka, Toshiya. (2020). Deep Adaptive Wavelet Network. 3100-3108. Projekt z digitálního zpracování obrazu PV162 Kontakt: Možné programovací jazyky: Augmentace obrazu s využitím bitových rovin Předmětem tohoto projektu je augmentace obrazových dat. Zvolená metoda [1] pracuje s běžnými (RGB) fotografiemi a provádí rozklad na kanály (R,G,B). Ty následně dále rozkládá na bitové roviny. Následná vzájemná rekombinace bitových rovin mezi kanály s cílem maximalizovat podobnost s původními daty vygeneruje nové fotografie. Cílem projektu je danou metodu naimplementovat a následně vyhodnotit její užitečnost při řešení klasifikační úlohy nad standardní datovou sadou Linnaeus [2] David Svoboda libovolné [1] H. Zhang, Z. Xu, X. Han and W. Sun, "Data Augmentation Using Bitplane Information Recombination Model," in IEEE Transactions on Image Processing, vol. 31, pp. 3713-3725, 2022 [2] Chaladze, G., Kalatozishvili, L. (2017). Linnaeus 5 dataset. Chaladze.com. Retrieved 13 November 2017, from http://chaladze.com/l5/