Řečová interakce a sociální sítě
Luděk Bártek
Fakulta informatiky Masarykova univerzita
podzim 2014
Ql Multimodální dialogová rozhraní
M ultimodální dialogová rozhraní |
Co jsou to multimodální dialogová rozhraní?
• Kromě hlasové podporují i další způsoby komunikace:
• text
• video
• hmat
• emoce
• .. .
• Výhoda oproti hlasové komunikaci - vyšší přístupnost (nap pro uživatele s postižením řeči nebo sluchu).
• neslyšící, nedoslýchavý, ...
• němý, lidé s postižením hlasivek (příliš tichá řeč, ...)
• lidé se silným cizím přízvukem
• lidé hovořící místním dialektem
M ultimodální dialogová rozhraní |
Zařízení pro multimodální komunikaci
• Audio:
• mikrofon, reproduktor, headset, ...
• Video:
• obrazovka (telefon, počítač, ...)
• kamera.
• Hmat:
• braillský řádek
• Text:
• klávesnice (telefon, počítač, ...)
• obrazovka (telefon, počítač), braillský řád
Hlas Obraz: Text ^Člověk
živý
avatar - počítačová simulace člověka, která co nejpřesněji napodobuje mimiku tváře, pohyb rtů (odezírání ze rtů), pohyb rukou (znaková řeč, . . .).
Nutnost synchronizace jednotlivých komunikačních kanálů (pohybu rtů/rukou s řečí, textu a řeči, ...)
M ultimodální dialogová rozl
Standardy pro tvorbu multimodálních rozhraní
• XHTML+Voice
• Využívá jmenné prostory v XML.
• Umožňuje vyplňování formulářů na webu:
• hlasem - pomocí dialogu popsaného pomocí standardů W3C Voice Browser Activity
• z klávesnice.
• Omezená podpora na straně prohlížečů - nutnost vlastnit Operu + Windows + IBM ViaVoice.
• W3C Multimodal Interaction Activity:
• Ve stádiu návrhů.
• Řeší komunikaci pomocí různých kanálů a jejich synchronizaci.
• Zatím chybí uživatelští agenti, kteří by tyto návrhy standardů podporovaly.