Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Dialogové systémy
Luděk Bártek
Fakulta informatiku Masarykova univerzita
podzim 2013
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
O Speech Recognition Grammar Specification
Ql Semantic Intepretation for Speech Recognition
Q Ostatní standardy W3C VoiceBrowser Activity
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
SRGS
• W3C specifikace jazyka pro zápis bez kontextových gramatik pro podporu rozpoznávání řeči.
• Aktuální verze 1.0 (březen 2004).
• Nahradil původně používaný standard JSGF.
• Dvě varianty zápisu gramatiky:
• XML
• Augmented Backus-Naur From (ABNF).
• Liší se pouze zápis nikoliv vyjadřovací síla.
• Možnost použití způsobu zápisu závisí na použité platformě.
• Vetší podpora pro XML formát.
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Gramatiky (Teorie Formálních Jazyků)
• Gramatika G = (N, Z, P, S)
• N - množina neterminálních symbolu
• Y. - abeceda
• P - množina pravidel
• S - kořenový neterminál.
• Bezkontextová gramatika
• gramatika G — (N, T, P, S)
• pravidla ve tvaru: N —> {N U Y.}*.
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
XML Formát Gramatiky
• XML prolog.
• Kořenový element - grammar.
• Atributy:
• root - pravidlo odpovídající kořenovému neterminálnímu symbolu
o xmhlang - jazyk gramatiky
• version - použitá verze SRGS (aktuálně pouze 1.0)
• mode
• dtmf
• voice - implicitní hodnota
• ...
• Element grammar - obsahuje množinu pravidel (elementů rule).
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
ABNF Gramatika
0 ABNF hlavička
• #ABNF verze [kódováni] #ABNF 1.0 ISO-8859-2
• root $ jméno pravidla; - kořenový neterminální symbol
• language jazyk;
• mode voice|dtmf;
#ABNF 1.0 UTF-8 root $pozdrav; language cs-CZ; mode voice;
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Zápis pravi
• Levá strana pravidla:
• X M L formát
• element rule
• atribut id - jednoznačný identifikátor pravidla
• obsah - pravá strana pravidla
<rule id="pozdrav"> ahoj </rule>
• ABNF
• <id pravidla>
$pozdrav = ahoj;
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Zápis pravi
• Pravá strana pravidla
• může obsahovat terminálni a neterminální symboly:
• sekvenci
• varianty
• XML formát
• tělo elementu rule <rule id="vstup">
Proved <rulerei uri="#prikazy"/> s parametry <rulerei uri="#parametry"/>. </rule>
• ABNF
• $<neterminál> = <pravá strana> $vstup =
Proveď $<http://www.někde.cz/grammar.gram#prikazy>
s parametry $<http://www.někde.cz/grammar.gram#parametry>
nebo
$vstup = Proved $prikazy s parametry $parametry
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Sekvence
• Posloupnost terminálních a neterminálních symbolů.
• X^YZa
• Lze ji rozdělit na logické části.
• XML zápis:
• zapsat přímo
<rule id="spojeni">
Chci jet z <ruleref uri="#misto"/>. </rule>
• dělení na logické části » využitelnost
• počet opakování dané části (atribut repeat o sémantická interpretace
Luděk Bártek Dialogové systémy
Speech Recognition Gramn	iar Specification
Semantic Intepretation for Spe	:ech Recognition
Ostatní standardy W3C Voice	Browser Activity
Sekvence	
Ukázky	
• XML Formát:
<rule id="spojeni"> Chci jet <item>z <ruleref uri="#misto"/> </item> <item> do <ruleref uri="#misto"/> </item> <item> <ruleref uri="#druh"/x/item> <item> <ruleref uri="#datum"/x/item> <item> v <ruleref uri="#cas"/x/item>
</rule>
• ABNF zápis:
$spojeni = Chci jet z $misto do $misto $druh $datum v $cas.
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
• umožňují uživateli zadat jeden z možných vstupů
• X Y\Z\a
• XML zápis:
<rule id="barvy"> <one-of> <item>cervena</item> <item>zelena</item> < it em>modra</ it em> </one-of> </rule>
• ABNF zápis
$barvy = (červenal zelenal modra)
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Opakování
• Umožňuje specifikaci:
• nepovinných částí promluvy
• opakovaných částí promluvy
• XML zápis
» pomocí atributu repeat u elementu item <rule id="adresa"> www
•Citem repeat="l-2">
tečka <ruleref uri="#castAdresy"/> </item>
tečka <ruleref uri="#tld"/> </rule>
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Opakování
• ABNF zápis
• za prvek uvedeme počet opakování uzavřený do <>
$adresa = www $castAdresy <l-2> $tld $castAdresy = tečka $text
• počet opakování
• číslo - číslo krát
• číslol- číslo2 - číslol - číslo2 krát
• číslo- - číslo - oo krát
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Zvláštní pravidla
• GARBAGE - odpovídá libovolné promluvě až po následující blíže specifikovanou část
• VOID - pravidlo, které nelze vyslovit (zakázaní určité promluvy)
• NULL - pravidlo, které je vždy rozpoznáno (může být i prázdné)
• XML formát:
• <ruleref spec\a\—" pravidlo" / > <rule id="spojeni">
•Cruleref special="GARBAGE"/>
z -Cruleref uri="#misto"/> do <ruleref uri="#misto"/> •Cruleref uri="#prostredek"/> </rule>
• ABNF
• $ pravidlo
$spojeni = $GARBAGE z $misto do $misto $prostredek
Luděk Bártek Dialogové systémy
Speech Recognition Gramn	iar Specification
Semantic Intepretation for Spe	:ech Recognition
Ostatní standardy W3C Voice	Browser Activity
Literatura	
• Specifikace W3C.
• Příklady použité na přednášce.
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
• Sémantika - přiřazuje význam slovům a promluvám.
• Sémantika v dialogových systémech - přiřazuje význam promluvám a jejich částem
• SISR - standard W3C pro zpracování sémantiky promluvy.
• aktuální verze 1.0
• publikován - duben 2007
• úzce spjat se standardy
• ECMAScript
• SRGS
• Umožňuje přiřazení základních interpretací částem promluvy a vytváření odvozených interpretací pro nadřazená tvrzen
• přiřazení interpretace částem promluvy
• odvozování interpretace na základech dílčích interpretací
• přiřazení interpretace vstupním polím dialogu
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Přiřazení interpretace části promluvy
• Sémantická interpretace bývá součástí pravidla SRGS.
• K pravidlu přiřazena pomocí elementu/atributu tag.
• XML formát SRGS gramatiky:
• element tag
<item>
•Cruleref uri="souhlas"/><tag>{out='ano'}</tag> </item>
• atribut tag elementu item
•Citem tag="ano">jo</item>
• ABNF tvar:
• uveden za interpretovanou část promluvy
• tvar: interpretace $souhlas = jo {ano}
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Odvozování interpretace na základě dílčích interpretací
• Zápis pomocí výrazů v jazyce ECMAScript.
• Přiřazeno k pravidlům pomocí elementu tag.
• Interpretace reprezentována pomocí objektů jazyka ECMAScript.
• Stínové proměnné:
• pro pravidla - objekt rules
• výstup - objekt out
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Odvozování interpretace na
XML formát SRGS gramatiky
základě dílčích interpretací
<rule id="vlastnictvi"> <item>Mám
<item repeat="0-l">
<ruleref uri="#barva"/> </item>
<ruleref uri="prostredek"/> <tag>{out = rules.barva +        + rules.prostředek;}</tag> </item> </rule>
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Odvozování interpretace na
ABNF gramatika
základě dílčích interpretací
$vlastnictvi = mam $barva <0-l> $prostredek
{out = rules.barva + ;;; + rules.prostředek;}; $barva = (červenou {červena}
Ičervené{cervena}
Izelenou{zelena}
Izelene{zelena}); $prostredek = (auto{auto} | kolobezku{kolobezka});
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Přiřazení interpretace vstupním polím VoiceXML formuláře
• Využívají se atributy stínového objektu out
• XML formát:
<rule id="vlastnictvi"> <item>
Mám <item repeat="0-l"><ruleref uri="#barva"/> <ruleref uri="#prostredek"/> <tag> {
out.barva = rules.barva;
out.prostředek = rules.prostředek;
}
</tag> </item> <rule>
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Přiřazení interpretace vstupním polím VoiceXML formuláře
• ABNF gramatika:
$vlastnictvi = mam $barva <0-l> $prostredek {
out.barva = rules.barva; out.prostředek = rules.prostředek; >;
$barva = (červenou {červena}|
cervene{cervena}|
zelenou{zelena}|
zelene{zelena}); $prostredek = (auto{auto} | kolobezku{kolobezka})
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Literatura
• Specifikace SISR
• ECMAScript
• Příklady použité na přednášce.
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Další standardy W3C VoiceBrowser Activity
• SSML
• Pronunciation Lexicon Specification
• Call Control XML
• State Chart XML
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Speech Synthesis Markup Language
• Značkovací jazyk pro podporu syntetizované řeči ve webových aplikacích.
• Standard W3C
• Aktuální verze 1.0 (září 2004)
• Vychází z JSGF/JSML (JSpeech Markup Language)
• Cíle:
• musí umožňovat konzistentní ovládání hlasového výstupu řečovým syntetizérem.
• musí dovolovat TTS pro co nejširší škálu aplikací a domén
• musí být internacionalizovaný
• musí být snadno použitelný pro psaní dokumentů
• musí být implementovatelný pomocí stávajících technologií
• JSML dokumenty musí být lidsky čitelné.
• Zbytek viz syntéza řeči.
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Pronunciation Lexicon Specification (PLS)
• Standard W3C
• Aktuální verze 1.0 (říjen 2008)
• Definuje značkování pro specifikaci slovníků výslovnosti pro podporu syntézy a rozpoznávání řeči.
• Specifikace W3C
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition Ostatní standardy W3C VoiceBrowser Activity
Call Control XML
• Standard W3C
• Aktuální verze 1.0 (červenec 2011)
• navržen pro ovládání telefonních hovorů z dialogových systémů
• Specifikace W3C
• Umožňuje:
• sestavení a ovládání konferenčních hovorů
• přesměrování hovoru
• ...
Luděk Bártek Dialogové systémy