2D a 3D analýza pohybu
Sportovní fakulta Masarykovy univerzity
Mgr. Martin Sebera, Ph.D.

Práce s 3D daty

Práce s třírozměrnými daty sestává z následujících kroků:

• vytvoření specifikace
• nastavení kamery
• kalibrace kamery
• zachycení souřadnic obrazu
• výpočet 3-D souřadnic opatřených měřítkem
• prezentování dat

První dva body odpovídají postupům ve dvourozměrné rovině, a proto zde nebudou opakovaně zmiňovány. Detailní popis těchto postupů viz sekce Práce s 2D daty.

Kalibrace kamery

Základní principy

Mnoho pohybů nemůže být pozorováno samostatně v jedné rovině, protože důležitým faktorem je i prostorová hloubka.

Existují dvě podmínky pro prostorovou kalibraci: zaprvé by zde měly být nejméně dvě kamery pracující ze dvou různých perspektiva za druhé by zde měly být odpovídající 3D objekty (kalibrační systémy). Často jsou použity kalibrační systémy krychlového tvaru.

Totéž platí zde: čím dál jsou nahrávané body od kalibrované oblasti tím nepřesnější budou výsledky. Kalibrační systém (a tedy kalibrovaná oblast) by také měly vyplňovat co největší plochu obrazu.

Umístění kamer není pro nahrávání důležité a může být libovolně zvoleno. Kamery nemusí být umístěny ve stejné výšce. Jestliže jsou použity pouze dvě kamery, měly by být ve vzájemném úhlu mezi 60–120 stupni.

Další kamery (do té míry jak jsou podporovány použitým systémem) zvyšují přesnost, a tím se lze lépe vyhnout omylům.

Příklad: Vrh koulí, jedna kamera z levého úhlu, druhá kamera z prvého úhlu a jedna kamera shora (volitelně).

Systém vyžaduje minimálně osm kalibračních bodů. Tyto body nesmí ležet ve stejné rovině a měli by úplně obklopovat oblast, která má být kalibrována. Jestliže je použit kalibrační systém krychlového tvaru, pak jasnou volbou je osm rohů krychle. Pro zvýšení přesnosti se doporučuje použití více kalibračních bodů (obvykle mezi 10 a 30). Jestliže je použita například krychle, pak mohou být použity středy každé hrany a body uvnitř krychle (např. střed). K dosažení potřebných výpočtů musí být do systému vloženy reálné souřadnice všech bodů (v metrech) a také jejich souřadnice v nahraném záznamu. Tato procedura musí být provedena pro každou kameru. Je možné použít pro každou kameru různé kalibrační body. Souřadnice všech kalibračních bodů všech kamer musí být vymezeny ve stejném systému souřadnic a ve stejné sekvenci. V případech kde se pohyb odehrává ve speciálním směru (např. běh), se v praxi ukázalo užitečné ujistit se, že jedna osa systému souřadnic míří ve směru pohybu.

Poznámka: systém předpokládá, že z-osa směřuje vzhůru. Tento předpoklad nemá žádný vliv na výpočty souřadnic, ale hraje roli ve znázornění pohybu, např. v kresleni čar.

Příklad: Jestliže je použit kalibrační systém krychlového tvaru, zvolte jeden roh jako počátek souřadnicového systému a hrany krychle jako jeho osy. Pak pro krychli měřící 2 m × 2 m × 2 m jsou souřadnice (X; Y; Z) jejích osmi rohů následující:

[0;0;0] origin

[2;0;0] 2

[2;2;0] 3

[0;2;0] 4

[0;0;2] 5

[2;0;2] 6

[2;2;2] 7

[0;2;2] 8

Tato krychle by pak měla být umístěna tak, aby

• prostorová oblast, která má být měřena, ležela co nejvíce uvnitř krychle
• jedna osa (např. osa X) mířila ve směru pohybu
• krychle byla nahrávána kompletně všemi kamerami a vyplňovala co nejvíce každého obrazu.

Poznámka: Pohyb, který má být nahráván, se musí odehrávat uvnitř kalibrované oblasti. To znamená, že jestliže se bude nahrávat člověk v plné velikosti, doporučuje se použít kalibrační systém odpovídající velikosti. Kalibrační systém měřící 2 m × 2 m × 2 je zde nezbytný.

Výběr video souboru

Pro nastavení kamery k třírozměrnému použití musí být nejdříve vybrán záznam. Je třeba kliknout na tlačítko SelectVideo v sekci 3D kalibrace. V tomto dialogovém okně lze otevřít již existující video soubor (*.avi). Po otevření video souboru se na obrazovce zobrazí data tohoto souboru. Pro potvrzení této videosekvence pro kalibraci stiskněte Apply.

Vytvoření a upravení 3D kalibračního systému

Standardní kalibrace může být kdykoliv změněna. Aby k tomu došlo, zmáčkněte tlačítko Properties a vyberte příkaz Edit Calibration System.

Nejprve ze všeho vepište jméno kalibračního systému do rámečku Description. Potom přidejte všechny body v závislosti na tom, jaký kalibrační systém bude použit. Souřadnice všech bodů musí být v metrech. Po skončení úpravy bodů klikněte na Apply pro jejich přidání na seznam. Pro 3D kalibraci se požaduje nejméně 8 kalibračních bodů. Čím více bodů se použije, tím přesnější bude kalibrace. 3D rekonstrukce závisí na přesnosti kalibrace.

Pro kontrolu zvolené kalibrace použijte volbu Camera constants (v menu 3D kalibrace). Zejména věnujte pozornost vypočteným pozicím kamery a hlavnímu bodu, který má vypnutou optimalizaci.

Možnosti Pan, Tilt a Zoom jsou k dispozici pouze pokud byl nainstalován odpovídající volitelný modul. Pro získání více informací si přečtěte speciální manuál.

Dodatečná informace: Pozice kamery

Pozice kamery (jejích souřadnic ve vztahu ke kalibračnímu systému) je spočítána automaticky během kalibračního procesu, ale jestliže byla změřena přesná pozice, měla by být zadána. Tato informace je volitelná a můžete také zadat pouze jednu veličinu (např. výšku kamery) a ostatní textová okna nechat prázdná.

Dodatečná informace: Hlavní bod

Hlavní bod kamery je spočítán automaticky během kalibračního procesu, ale jestliže jsou známy přesné hodnoty, měly by být zadány. Hlavní bod je obvykle blízko středu obrazu. V závislosti na okolnostech jsou někdy implicitní hodnoty 0.5/0.5 dostačující pro dosažení zlepšení přesnosti.

Existuje také možnost změřit přesnou pozici hlavního bodu. Nezávisí to na pozici kamery, její rotaci nebo nastavení, ale na optice a samotné kameře.

Prosím kontaktujte SIMI podporu pro softwarový nástroj, pro změření hlavního bodu vaší kamery.

Upravit spojnice (Edit connecting lines)

Jestliže si uživatel přeje, aby byly mezi dvěma kalibračními body zakresleny spojnice, lze to provést použitím tlačítka Connecting lines, podobně jako upravením těchto spojnic ve specifikaci.

Import kalibračních dat (Importing calibration data)

Použitím tlačítka Import je také možné nahrát kalibrační systémy, které již byly definovány. Je možné buď nahrát existující soubor 3D kalibrace (*.ca3) nebo zavést systémy, vytvořené použitím SIMI Motion 4.x. K tomu je potřeba nahrát soubor (*.koo) a volitelně také odpovídající soubor (*.spz).

Export kalibračních dat (Exporting calibration data)

Použitím tlačítka Export může být vytvořený kalibrační systém uložen jako soubor (*.ca3) a být poté použit bez jakýchkoliv problémů v dalších projektech.

Označení 3D kalibračního systému

Videosnímek, který byl předtím vybrán, je zobrazen v levém okně. Kalibrační body na seznamu musí být nyní přiřazeny k odpovídajícím bodům ve videosnímku. K tomu je nutné označovat body ve videosnímku v příslušném pořadí. Kalibrace je dokončena po přiřazení všech bodů. Jestliže jsou šipky v seznamu stále červené, znamená to, že body ještě nebyly definovány. Kliknutím na odpovídající pozici ve videosnímku je bod definován a je poté zeleně zvýrazněn. Kalibrační body jsou celou dobu uchovány ve videosnímku, takže kalibrační systém může být doplněn později. Kliknuti pravým tlačítkem myši na tlačítko s nástroji před daným bodem v seznamu umožňuje:

• ukázat bod (Show point)
• vyřadit bod (Discard point)

V prvním případě je kurzor myši zobrazen v pozici předchozího kliknutí, ve druhém případě je korespondence odstraněna, bod z videosnímku zmizí a je znovu červený. Stejný postup musí být uplatněn pro každou kameru. Poté, co byla každá kamera kalibrována pro 3D, záznam pohybu může začít. K tomu je třeba kliknout pravým tlačítkem myši na složku Cameras a z kontextového menu vybrat možnost 3D motion Capture. Nyní jsou v levém okně zobrazeny obě videosekvence. V pravém okně jsou zobrazeny dva seznamy bodů – jeden pro každý obraz.

Zachycení souřadnic obrazu

Předběžná nastavení

Jestliže je vybrána možnost Move mouse pointer automatically, znamená to, že kurzor myši je vždy zobrazen automaticky v dříve stanovené pozici bodu. Jestliže se před zobrazením následujícího snímku chcete ujistit, zda jsou zachycené body správné, vyberte možnost Check after each frame. Jestliže se předpokládá, že kamery budou zpracovávány jedna po druhé, aktivujte možnost Columns first. Jestliže mají být synchronizována různá okna (kreslení čar, videosnímky), musí být vybrána odpovídající možnost Synchronize with other windows.

Zpracování

Předběžná nastavení

Pro sledování klikněte pravým tlačítkem myší na tlačítko před bodem, aby se otevřelo následující menu.

Možnost Show Point automaticky umístí kurzor myši do takové pozice ve videosnímku, ve které bylo na bod kliknuto dříve.

Pro označení bodů jsou k dispozici následující možnosti:

Možnost Discard Point maže zvýrazněný bod z videozáznamu a tím odstraní jemu odpovídající bod.

Klikněte na tlačítko s číslem kamery pro výběr stejného nastavení všech bodů dané kamery.

Příklad zachycení pohybu

Tyto dva snímky zastupují dva avi soubory. Na pravé straně je seznam bodů, které mají být označeny. Tyto body jsou přiřazeny bodům ve videosnímku kliknutím na odpovídající pozici v rámečku. Jestliže tlačítko před bodem je zelené, pak bod již byl definován.

Nastavení

Zde vyberte možnosti Move mouse pointer automatically a Check after each frame.

Zachycování souřadnic obrazu

Po zvolení všech požadovaných nastavení jsou video snímky zpracovávány jeden po druhém. Každý definovaný bod je pak zobrazen zeleně. Pro každou kameru je zobrazen seznam bodů, což znamená, že pokud je použito dvou a více kamer, na pravé straně dialogového okna bude zobrazeno dva a více sloupců.

Seznam pro záznam právě zpracovávané kamery je barevně zvýrazněn. Pouze ty body na seznamu, které jsou barevně zvýrazněny jsou zpracovávány.

Jestliže byl bod nesprávně definován, může být vyřazen a předefinován. Aby k tomu došlo, klikněte pravým tlačítkem myši na tlačítko před daným bodem a zvolte možnost Discard Point.

Po zpracování všech videosnímků a bodů v požadované sekvenci je zachycení pohybu kompletní a data jsou nyní přístupná pro 3D výpočty.

Výpočet 3D souřadnic s měřítkem

Není nutné použít pro výpočet 3D souřadnic všechny kamery. Pro provedení 3D výpočtů, vyžaduje systém minimálně dvě kamery. Jestliže jsou ale použity více než dvě kamery, výsledný výpočet je obvykle přesnější a vyskytuje se méně problémů s neoznačenými body.

Požadované kamery zde mohou být vybrány označením příslušného zaškrtávacího rámečku. Do odpovídajícího seznamu zadejte druh nezpracovaných dat, která budou použita.

Je možné zvolit mezi dvěma různými typy nezpracovaných dat: buď normální nezpracovaná data vytvořená během záznamu nebo filtrovaná data, která již byla lehce vyhlazena. Jeden z těchto souborů dat může být definován jako standardní. Tato standardní nezpracovaná data jsou pak použita k výpočtům 3D souřadnic, které znamenají třetí možnou volbu. Pro vytvoření složky 3D souřadnic klikněte na Ok.

Soubory dat mohou být nyní zobrazeny jako čárové vykreslení, nebo exportovány do dalších programů.