Multimodal ní dialogová rozhraní
r
Rečová interakce a sociální sítě
Luděk Bártek
Fakulta informatiky Masarykova univerzita
podzim 2015
Luděk Bártek
Řečová interakce a sociální sítě
Multimodal ní dialogová rozhraní
O Multimodální dialogová rozhraní
Luděk Bártek        Řečová interakce a sociální sítě
Multimodal ní dialogová rozhraní
Co jsou to multimodální dialogová rozhraní?
• Kromě hlasové podporují i další způsoby komunikace:
• text
• video
• hmat
• emoce
• . ..
• Výhoda oproti hlasové komunikaci - vyšší přístupnost (např. pro uživatele s postižením řeči nebo sluchu).
• neslyšící, nedoslýchavý, ...
• němý, lidé s postižením hlasivek (příliš tichá řeč, ...)
• lidé se silným cizím přízvukem
• lidé hovořící místním dialektem
Luděk Bártek
Řečová interakce a sociální sítě
Multimodal ní dialóge		Dvá rozhrar		ií	
				5	munikaci
• Audio:
• mikrofon, reproduktor, headset, ...
• Video:
• obrazovka (telefon, počítač, ...)
• kamera.
• Hmat:
• braillský řádek
• Text:
• klávesnice (telefon, počítač, ...)
• obrazovka (telefon, počítač), braillský řádek
Luděk Bártek
Řečová interakce a sociální sítě
Multimodal ní dialogová rozhraní
Hlas Obraz:
• Text
• Člověk
• živý
• avatar - počítačová simulace člověka, která co nejpřesněji napodobuje mimiku tváře, pohyb rtů (odezírání ze rtů), pohyb rukou (znaková řeč, .. .).
Nutnost synchronizace jednotlivých komunikačních kanálů (pohybu rtů/rukou s řečí, textu a řeči, ...)
Luděk Bártek
Řečová interakce a sociální sítě
Multimodal ní dialogová rozhraní
Standardy pro tvorbu multimodálních rozhraní
• XHTML+Voice
• Využívá jmenné prostory v XML.
• Umožňuje vyplňování formulářů na webu:
• hlasem - pomocí dialogu popsaného pomocí standardů W3C Voice Browser Activity
• z klávesnice.
• Omezená podpora na straně prohlížečů - nutnost vlastnit Operu + Windows + IBM ViaVoice.
• W3C Multimodal Interaction Activity:
• Ve stádiu návrhů.
• Řeší komunikaci pomocí různých kanálů a jejich synchronizaci.
• Zatím chybí uživatelští agenti, kteří by tyto návrhy standardů podporovaly.
Luděk Bártek
Řečová interakce a sociální sítě