Projekt z digitálního zpracování obrazu PV162
Fakulta informatiky
Masarykova univerzita
Brno
PV162 Projekt z digitálního
zpracování obrazu
podzim 2023
Projekt z digitálního zpracování obrazu PV162
Požadavky k získání kolokvia
• Vykonání práce dle oficiálního zadání pod vedením
uvedeného vedoucího
• Přihlášení k tématu v rozpisech v ISu do 1.10.
• Nutné průběžné konzultace
• Prezentace výsledků práce buď v posledním týdnu
semestru nebo ke konci zkouškového období
• Dopracování připomínek vzešlých z diskuse po
prezentaci a odevzdání práce vedoucímu
Projekt z digitálního zpracování obrazu PV162
Přehled témat
• Zadání je uvedeno v ISu a bude upřesněno
vedoucím, zde jsou naznačeny jen hlavní body
• Zadání jsou v principu tří typů
• Programátorská
• Implementace zadaného algoritmu podle odborné literatury
• Tvořivá
• Hledání vhodného postupu pro řešení daného problému
• Studie
• Srovnání chování algoritmů na zadaných datech
Projekt z digitálního zpracování obrazu PV162
Jak na to?
• Vybírejte tak, aby vás práce bavila a/nebo jste měli
pocit, že má smysl
• Zadání berte jako příležitost se něco nového naučit
nebo si něco zajímavého zkusit
• Často lze témata dále rozvinout v závěrečné práce,
ale není to nutné
Projekt z digitálního zpracování obrazu PV162
CTC – Cell Tracking Challenge
• Mezinárodní projekt řešený na FI MU
• http://celltrackingchallenge.net/
• Porovnávání algoritmů pro segmentaci a sledování
pohybu buněk ve videu
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Opravy segmentací buněk v časoprostoru pro CTC
Cílem je vzít jako vstup existující výsledek segmentace buněk v časoprostoru
(2D+t, pro troufalé i 3D+t) + originál pro určitou metodu pracující po framech
bez časového kontextu a opravit ji podél časové osy (vyhladit zubatost či
zaplnit časové díry). Buňky se mohou v čase dělit a vzniká stromový útvar.
V rámci CTC tak vzniknou lepší výstupy a z nich lepší referenční výsledek
(tzv. silver truth).
Michal Kozubek
Libovolný
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Vytvoření fuzzy referenčních segmentací pro CTC
Cílem je vzít jako vstup existující výsledky segmentací více kvalitních metod
nad trénovacími daty benchmarku Cell Tracking Challenge a z nich vytvořit
jednu výslednou referenční fuzzy segmentaci (pravděpodobnostní pro každý
pixel, ne binární). Lze využít i existující detekční značky buněk (vyrobené
ručně pro účely trackingu v čase) a rozšířit je na plnou masku pro danou
buňku s tím, že maska nebude binární, ale celočíselná (jistota 0-100%).
Ve sporných oblastech může pixel patřit i více maskám (např. 30% / 70%).
Jde o přípravu na benchmarking fuzzy výstupů metod strojového učení vůči
fuzzy referenční segmentaci buněk.
v rámci soutěže Cell Tracking Challenge
Michal Kozubek
Libovolný
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Studie měr/metrik na vyhodnocení fuzzy segmentací
Cílem je prostudovat a naprogramovat míry/metriky
vhodné na kvantitativní vyhodnocení úspěšnosti
segmentace pro fuzzy případy (tedy kdy správná
segmentace a/nebo algoritmem nalezená
segmentace je pravděpodobnostní
pro každý pixel, ne binární).
Kromě publikovaných měr/metrik lze
samozřejmě kreativně vymyslet další.
Jde o přípravu na benchmarking fuzzy
výstupů metod strojového učení vůči
fuzzy referenční segmentaci buněk
v rámci soutěže Cell Tracking Challenge.
Michal Kozubek
Libovolný
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Testování 3D afinních transformací
Cílem projektu je porovnat různá nastavení augmentační
knihovny BioVolumentations pro účely segmentace mozkových
nádorů v MRI snímcích a vytvořit postup učení (pipeline) pro
architekturu 3D U-Net nad knihovnou PyTorch. Hlavním
výstupem projektu je studie přesnosti a rychlosti segmentace
s a bez 3D afinních segmentací.
Filip Lux / Lucia Hradecká
Python/PyTorch
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Vinohrad 1 - segmentace
Cílem projektu je vytvořit postup učení modelu 2D U-Net pro
segmentaci rostlin ve videu. K dispozici jsou data včetně anotací.
Jako enkodér lze využít předtrénovaný model. Součástí projektu
je vyhodnocení přesnosti segmentace. Vhodné pro studenty se
znalostmi knihovny PyTorch a principů strojového učení.
Filip Lux / Petr Matula
Python / PyTorch
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Vinohrad 2 - počítání rostlin
Cílem projektu je ve výstupu neuronové sítě nalézt rostliny
vinné révy a ty spočítat. Součástí projektu je vyhodnocení
vyvinutého postupu. K dispozici budou vstupní obrazy, výsledek
detekce z neuronové sítě a anotace rostlin.
Filip Lux / Petr Matula
Libovolný (ale asi Python)
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Srovnání metod na segmentaci shluků buněk s
membránovým značením
Cílem projektu je seznámit se s existujícími segmentačními nástroji LimeSeg,
PlantSeg a Cellpose3D a kvantitativně vyhodnotit jejich chování na dodaných
trojrozměrných obrazových datech shluků buněk s membránovým značením
pořízených fluorescenčním mikroskopem.
Martin Maška
Srovnávací studie bez programování
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Segmentace obrazu s adaptivním sdružováním
Cílem projektu je seznámit se s adaptivní sdružovací vrstvou (AdaPool) v
konvolučních neuronových sítích, která pomáhá zlepšit výkonnost
klasifikačních a detekčních sítí, a experimentálně prozkoumat její možnosti
pro segmentaci obrazu.
Martin Maška
Bez omezení (pravděpodobně Python)
Maximální sdružování Adaptivní sdružování
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Průzkum algoritmů na zvýšení rozlišení
Při posuzování sporných momentů
(nejen) ve fotbale je žádané v některých
momentech zvýšit rozlišení v oblasti
problematické situace. Cílem projektu je
prozkoumat a vyzkoušet dostupné
metody. Možné pokračování na BP/DP
Pavel Matula (spolupráce Daite, s.r.o.)
Libovolné
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Zvýšení rozlišení obrazu využitím posunutých
snímků
Cílem projektu je vytvořit algoritmus pro spojení sady vzájemně
posunutých snímků kvůli vibraci kamery (zhruba 6-8 pixelů) a
získání obrazu s vyšším rozlišením. V navazující práci (např.
BP/DP), lze využít i informace ze senzorů jako je akcelerometr a
gyroskop.
Pavel Matula (spolupráce SANEZOO)
C++ nebo Python
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Studie rušivých vlivů v obraze s vysokým rozlišení
v elektronové mikroskopii
Pavel Matula (spolupráce Tescan)
Libovolný
Při vysokém rozlišení dochází v elektronovém mikroskopu při
formování obrazu k rušení mechanickými vibracemi nebo
magnetickým polem. Jedná se o (semi)periodický jev. Cílem je
sestavit simulátor tohoto jevu a pokusit se kvalitativně a
kvantitativně vyhodnotit míru rušení v obraze.
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Vliv PixelTCL na kvalitu segmentace
Cílem projektu je vyzkoušet Pixel Transposed Convolutional
Layers a udělat studii vlivu jejich použití na kvalitu segmentace
obrazu. Viz také: https://github.com/divelab/PixelTCN
Petr Matula
Python
Vstup
Chtěný
výsledek
Segmentace
bez PixelTCL
Segmentace
s PixelTCL
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Adaptivní vlnková transformace
Předmětem tohoto projektu je výpočet dvourozměrné vlnkové transformace s využitím
metod hlubokého učení [1] a srovnání s klasickou vlkovou transformací. Vlastností
tohoto přístupu je přizpůsobení transformace zpracovávaným obrazovým datům. Je
tedy na studentovi, jakou obrazovou datovou množinu ke zpracování zvolí.
David Svoboda
Python
[1] Bastidas, Ximena & Gruson, Adrien & Polania, Luisa & Fujieda, Shin & Ortiz, Flavio & Takayama, Kohei &
Hachisuka, Toshiya. (2020). Deep Adaptive Wavelet Network. 3100-3108.
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Augmentace obrazu s využitím bitových rovin
Předmětem tohoto projektu je augmentace obrazových dat. Zvolená metoda [1] pracuje s
běžnými (RGB) fotografiemi a provádí rozklad na kanály (R,G,B). Ty následně dále rozkládá na
bitové roviny. Následná vzájemná rekombinace bitových rovin mezi kanály s cílem maximalizovat
podobnost s původními daty vygeneruje nové fotografie. Cílem projektu je danou metodu
naimplementovat a následně vyhodnotit její užitečnost při řešení klasifikační úlohy nad standardní
datovou sadou Linnaeus [2]
David Svoboda
libovolné
[1] H. Zhang, Z. Xu, X. Han and W. Sun, "Data Augmentation Using Bitplane Information Recombination Model," in
IEEE Transactions on Image Processing, vol. 31, pp. 3713-3725, 2022
[2] Chaladze, G., Kalatozishvili, L. (2017). Linnaeus 5 dataset. Chaladze.com. Retrieved 13 November 2017,
from http://chaladze.com/l5/
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Cílem je vytvoření knihovny, která pro daný multidimenzionální obrázek vypočítá sadu deskriptorů.
Je potřeba ověřit zda platí, že lze nalézt podskupinu deskriptorů, které jsou si podobné pro
konkrétní typ buněk.
Uvažujeme deskriptory textur, segmentačních masek a/nebo temporální (popisují vývoj masky
v čase). Vstupem mohou být 2D,3D,2D+t či 3D+t obrazy buněk a jejich segmentací. Výstupem
budou vektory čísel, jeden pro každou buňku ve vstupu.
Zadání je vhodné i pro (malou) skupinu spolupracujících studentů.
Knihovna pro výpočet různých typů deskriptorů
Michal Kozubek, Vladimír Ulman
Bez omezení
Projekt z digitálního zpracování obrazu PV162
Kontakt:
Možné programovací jazyky:
Zjištění měřítka
Úkolem bude napsat program, který z fotografie
s proužkem měřítka nebo reálným pravítkem
(kolmo shora) odvodí měřítko fotografie (pixely na cm)
Karel Štěpka
libovolné
„1 cm = 375 pix“
„1 cm = 73 pix“