Multimodální interface
Tomáš Drusa, Pavol Mihálik
Multimodální interface
Uživatelský interface – zařízení nebo program,
který zabezpečuje komunikaci mezi přístrojem
a uživatelem
Modalita – komunikační cesta mezi uživatelem
a přístrojem
Multimodální interface – interface, který využívá
více způsobů komunikace
Vizuální rozhraní
Přenos informací od přístroje k uživateli
(výstupní zařízení):
● monitor, projektor, …
Přenos informací od uživatele k přístroji
(vstupní zařízení):
● kamera, infračervený senzor (alarm, IR noční
kamera, senzor rozeznávající hloubku), motion
capture
Video – počítačové vidění
http://www.youtube.com/watch?v=kf3G-DXqt6Y
http://www.youtube.com/watch?v=aL9wsEFohTw
Motion capture
Aurální rozhraní
Přenos informací od přístroje k uživateli
(výstupní zařízení):
● Reproduktor (siréna, alarm, senzor
vzdálenosti), prostorový zvuk, syntéza řeči
(screenreader, audio knihy)
Přenos informací od uživatele k přístroji
(vstupní zařízení):
● mikrofon, rozpoznávaní řeči (povely počítači,
diktování textu)
Haptické rozhraní
Přenos informací od přístroje k uživateli
(výstupní zařízení):
● braillský řádek, zařízení se zpětnou silovou
vazbou, vibrace
Přenos informací od uživatele k přístroji
(vstupní zařízení):
● dotyková obrazovka (kapacitní, rezistivní, IR),
klávesnice, myš, touchpad, haptická rukavice,
pero
Haptické periferie
SensAble Phantom Premium - 6DOF force
Fakespace Dataglove
Olfaktorická modalita (čich)
Přenos informací od přístroje k uživateli
(výstupní zařízení):
● Smell-O-Vision (H. Laube, 1950), AromaRama
● neúspěch, nezájem o technologii
● oživení po r. 2000
● iSmell (DigiScents, 2001) – cartridge 128 pachů
● ScentDome (TriSenx, 2003) – cartridge 20
● Kaori Web (6), P@D Aroma Generator
● University of Huelva, 2005: protokol XML Smell
Generátory pachů
iSmell
Smell-O-Vision
Olfaktorická modalita (čich)
Přenos informací od uživatele k přístroji
(vstupní zařízení):
● tzv. elektronické nosy – různé principy
(MOSFET, …)
● široké využití ve výzkumu, monitorování
ovzduší, kontrole kvality výrobků,
bezpečnostních skenerech
Gustační modalita (chuť)
Přenos informací od přístroje k uživateli
(výstupní zařízení):
● Navození pocitu chuti – pokusy s elektrickou a
termální stimulací chuťových pohárků jazyka
(daří se navodit slanost, kyselost a hořkost)
Přenos informací od uživatele k přístroji
(vstupní zařízení):
● Strojové chuťové senzory umí rozpoznat obsah
jednotlivých chemikálií – roztok, 2 minuty
Simulace chutí
Navozování chutí elektrickou a termální
stimulací jazyka
Další rozhraní
● vnímající rovnováhu: akcelerometr, gyroskop
● snímání mozkové aktivity: MRI, EEG
● teplota, bolest, ...
Obrazová informace v mozku
http://www.youtube.com/watch?v=nsjDnYxJ0bo
Multimodalita
● Různá rozhraní jsou vhodná pro různé situace
● Možnost výběru vstupního rozhraní rozšiřuje
možnosti použití v různých situacích, umožňuje
práci (zdravotně i situačně) znevýhodněným
osobám
● Možnost výběru výstupního rozhraní usnadňuje
porozumění výstupních informací a usnadňuje
nebo umožňuje práci s přístrojem
znevýhodněným osobám
Příklady
V moderních automobilech:
● GPS navigace: hlasový vstup i výstup
● hlasem lze ovládat klimatizaci, okénka, rádio
● při předjíždění senzor hlídá slepý úhel a
případně vibruje přepínačem blinkru
● parkovací senzory, parkovací asistent
● hlídání pohybu očí řidiče zda neusíná
● zobrazení informací na čelním skle
● polarizovaný displej
Příklady
Operační sál:
● Informační systém lze ovládat hlasem (není
nutné se dotýkat)
Visualization Space IBM
● Hlasové ovládání, rozpoznání řeči, gest
IBM Blue Eyes, MAGIC
● Polohovací zařízení s detekcí emocí, propojení
myši a detekce pohybu očí
Příklady
Myš IBM Blue Eyes
Visualization Space
http://www.youtube.com/watch?v=nQR49JGySTM
Pomoc postiženým
● Nevidomí:
Aurální modalita je alternativou ke speciálním
periferiím (notebook bez Braillského řádku)
● Neslyšící:
Systémy na konverzi mluveného slova na text
OS budoucnosti
● Současné periferie budou doplněny dalšími
periferiemi, příp. současné periferie budou
vylepšeny, např.:
● Zdokonalení myši IBM Blue Eyes (elektrická
vodivost kůže, tlak, tep, …) - rozlišování emocí
● Zvýšení přesnosti ovládání hlasem (v prostředí
se zvýšeným hlukem), přirozenosti syntézy řeči
● Počítačové vidění – ovládání gesty, vnímání
polohy těla, identifikace uživatele na základě
hlasu a podoby
OS budoucnosti
● Výstupy:
● stereoskopie bez pomocných brýlí, holografické
zobrazení trojrozměrných objektů, domácí 3D
tiskárny, ohebné displaye odolné vůči vodě
● rozvoj umělé inteligence: PC je schopno
omezeného myšlení, učení, porozumění
přirozené řeči, vyhledávaní informací
(sémantický web)
● GEORGE, LUCENTE, ZWART. Visualisation Space: A Testbed for
Deviceless Multimodal User Interface (http://lucente.us/pubs/IE98.pdf).
● DIEP, CHEOK, FERNANDO et al. Taste Communication Project
(http://137.132.145.178/media/mxrwiki/mxrwiki/lib/exe/fetch.php?
media=fyp:u0607162:ca3_report_liz.pdf).
● IBM Almaden Research Centre (http://www.almaden.ibm.com/cs/BlueEyes/).
● Wikipedia (http://en.wikipedia.org).
Zdroje
Děkujeme za pozornost!