Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Dialogové systémy
Luděk Bártek
Fakulta informatiku Masarykova univerzita
podzim 2019
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity				
IS		saf		
O Speech Recognition Grammar Specification O Semantic Intepretation for Speech Recognition O PLS
Q Ostatní standardy W3C VoiceBrowser Activity
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
SRGS	
• W3C specifikace jazyka pro zápis bezkontextových gramatik pro podporu rozpoznávání řeči.
• Aktuální verze 1.0 (březen 2004).
• Nahrazuje původně používaný standard JSGF - i nadále používán některými systémy pro rozpoznávání řeči.
• Dvě varianty zápisu gramatiky:
• XML
• Augmented Backus-Naur Form (ABNF).
• Liší se pouze zápis nikoliv vyjadřovací síla.
• Možnost použití způsobu zápisu závisí na použité platformě.
• Vetší podpora XML formátu SRGS.
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Gramatiky (Teorie Formálních Jazyků)
• Gramatika G = (A/, Z, P, S)
• N - množina neterminálních symbolů
• Z - abeceda
• P - množina pravidel
• S - kořenový neterminál.
• Bezkontextová gramatika
• gramatika G = (A/, Z, P, S)
• pravidla ve tvaru: N    {A/ u Z}*.
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• XML prolog.
• Kořenový element - grammar.
• Atributy:
• root - pravidlo odpovídající kořenovému neterminálnímu symbolu
9 xmhlang - jazyk gramatiky
• version - použitá verze SRGS (aktuálně pouze 1.0)
• mode
• dtmf
• voice - implicitní hodnota
• ...
• Element grammar - obsahuje množinu pravidel (elementů rule).
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
._NF Gramatika
• ABNF hlavička
• #ABNF verze [kódování]
#ABNF  1.0 ISO-8859-2
• root $ jméno pravidla; - kořenový neterminální symbol
• language jazyk; 9 mode voice|dtmf;
#ABNF  1.0 UTF-8  root $pozdrav; language cs-CZ; mode voice;
Luděk Bártek       Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• Levá strana pravidla:
o XML formát
• element rule
• atribut id - jednoznačný identifikátor pravidla
• obsah - pravá strana pravidla
<rule id="pozdrav"> ahoj </rule>
• ABNF
• <id-pravidla>
$pozdrav = ahoj;
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• Pravá strana pravidla
• může obsahovat terminálni a neterminální symboly:
• sekvenci « varianty
o XML formát
• tělo elementu rule
<rule id="vstup">
Proved <ruleref uri="#prikazy"/>
s parametry <ruleref uri="#parametry"/>.
</rule>
* ABNF
• $<neterminál> = <pravá strana>
$vstup =
Proved $<http://www.někde.cz/grammar.gram#prikazy> s parametry $<http://www.někde.cz/grammar.gramtparam
nebo
$vstup = Proved $prikazy s parametry $parametry
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
o Posloupnost terminalních a neterminalních symbolu.
• X^YZa
* Lze ji rozdělit na logické části.
• XML zápis:
• zapsat přímo
<rule id="spojeni">
Chci  jet  z <ruleref uri="#misto"/> </rule>
• dělení na logické části
• využitelnost
9 počet opakování dané části (atribut repeat) • sémantická interpretace
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Sekvence
Ukázky
XML Formát:
<rule id="spo jeni"> Chci  jet <item>z <ruleref uri="#misto"/> </item> <item> do <ruleref uri="#misto"/> </item> <item> <ruleref uri="#druh"/></item> <item> <ruleref uri="#datum"/></item> <item> v <ruleref uri="teas"/></item>
</rule>
ABNF zápis:
$spojeni = Chci  jet z $misto do $misto $druh
$datum v $cas.
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• umožňují uživateli zadat jeden z možných vstupů
• Y\Z\a
• XML zápis:
<rule id="barvy"> <one-of> <item>cervena</item> <item>zelena</item> <item>modra</item> </one-of> </rule>
• ABNF zápis
$barvy =   (červena|zelena|modra)
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• Umožňuje specifikaci:
<* nepovinných částí promluvy • opakovaných částí promluvy
• XML zápis
o pomocí atributu repeat u elementu item
<rule id="adresa"> www
<item repeat="1-2">
tečka <ruleref uri="#castAdresy"/> </item>
tečka <ruleref uri="#tld"/> </rule>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• ABNF zápis
« za prvek uvedeme počet opakování uzavřený do o
$adresa = www $castAdresy <l-2> $tld
$castAdresy = tečka $text
• počet opakování
číslo - číslo krát o číslol- číslo2 - číslol - číslo2 krát
• číslo- - číslo - oo krát
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification	
Semantic Intepretation for Speech Recognition	
PLS	
Ostatní standardy W3C VoiceBrowser Activity	
• GARBAGE - odpovídá libovolné promluvě až po následující blíže specifikovanou část
• VOID - pravidlo, které nelze vyslovit (zakázaní určité promluvy)
• NULL - pravidlo, které je vždy rozpoznáno (může být i prázdné)
• XML formát: <ruleref special="pravidlo"/ >
• ABNF: $pravidlo
Luděk Bártek
Dialogové systémy
• XML formát:
<rule id="spo jeni"> <ruleref special="GARBAGE"/> z <ruleref uri="#misto"/> do <ruleref uri="#misto"/> <ruleref uri = "#prostredek"/>
</rule>
o ABNF formát:
$spojeni = $ GARBAGE z $misto
do $misto $prostredek
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity							
	Li	tei	ral	:u	ra		
o Specifikace W3C.
• Příklady použité na přednášce (viz složka data ve studijních materiálech v ISu).
Luděk Bártek
Dialogové systémy
Sémantika - přiřazuje význam slovům a promluvám.
Sémantika v dialogových systémech - přiřazuje význam promluvám a jejich částem
SISR - standard W3C pro zpracování sémantiky promluvy.
• aktuální verze 1.0
• publikován - duben 2007
• úzce spjat se standardy
• ECMAScript o SRGS
Umožňuje přiřazení základních interpretací částem promluvy a vytváření odvozených interpretací pro nadřazená tvrzení
• přiřazení interpretace částem promluvy
o odvozování interpretace na základech dílčích interpretací
• přiřazení interpretace vstupním polím dialogu
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity				
Přiřaze	n	1 1	interpretace části promluvy	
• Sémantická interpretace bývá součástí pravidla SRGS.
* K pravidlu přiřazena pomocí elementu/atributu tag.
• XML formát SRGS gramatiky:
• element tag
<item>
<ruleref uri="souhlas"/> <tag>{out='ano'}</tag> </item>
• atribut tag elementu item
<item tag="ano">jo</item>
* ABNF tvar:
• uveden za interpretovanou část promluvy
• tvar: {interpretace}
$souhlas = jo {ano}
Luděk Bártek       Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Odvozování interpretace na základě dílčích interpretací_
• Zápis pomocí výrazů v jazyce ECMAScript.
• Přiřazeno k pravidlům pomocí elementu tag.
• Interpretace reprezentována pomocí objektů jazyka ECMAScript.
• Stínové proměnné:
« pro pravidla - objekt rules • výstup - objekt out
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
Odvozování interpretace n interpretací XML formát SRGS gramatiky	a základě dílčích
<rule id="vlastnictvi"> <item>Mám
<item repeat="0-1">
<ruleref uri="#barva"/> </item>
<ruleref uri="prostředek"/> <tag>{out = rules.barva + + rules.prostředek;}<
</item> </rule>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity				
Odvozovár interpretac ABNF gramatika	ií ir 1			a základe dílčích
$vlastnictvi = mam $barva <0-l> $prostreclek
{out = rules.barva + ';'   + rules.prostředek;}; $barva =   (červenou {červena}
|červene{červena}
|zelenou{zelena}
|zelene{zelena}) ; $prostredek =   (auto{auto}   |   kolobežku{kolobežka});
Luděk Bártek       Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity						
		mil			pretace vstupním polím VoiceXML	
• Využívají se atributy stínového objektu out
• XML formát:
<rule id="vlastnictvi"> <item>
Mám <item repeat = "0-1 "xruleref uri="tbarva"/ <ruleref uri="#prostředek"/> <tag> {
out.barva = rules.barva;
out.prostředek = rules.prostředek;
}
</tag> </item>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
Přiřazení interpretace vstu formuláře	ipním polím VoiceXML
• ABNF gramatika:
$vlastnictvi = mam $barva <0-l> $prostredek {
out.barva = rules.barva;
out.prostředek = rules.prostředek;
};
$barva =   (červenou {červenali
červene{červena}|
zelenou{zelena}|
zelene{zelena}); $prostredek =   (auto{auto}   |   kolobežku{kolobežka})
Luděk Bártek
Dialogové systémy
• Specifikace SISR 9 ECMAScript
• Příklady použité na přednášce.
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Pronunciation Lexicon Specification (PLS)
• Standard W3C
• Aktuální verze 1.0 (říjen 2008)
• Definuje značkování pro specifikaci slovníků výslovnosti pro podporu syntézy a rozpoznávání řeči.
• Specifikace na stránkách W3C Specifikace na stránkách W3C
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Základní elementy PLS
• Kořenový element - lexicon
• atributy - xmlns - specifikace jmenného prostoru (http://www.w3.org/2005/01/pronunciation-lexicon)
9 xmhlang - jazyk dokumentu
9 version - verze dokument (1.0)
o alphabet - abeceda použitá pro fonetický přepis
o lexeme - obsahuje popis pro jednu lexikální jednotku (slovo, zkratku,...
• musí obsahovat aspoň jeden dceřiný element grapheme
• phoneme - obsahuje fonetický přepis dané lexikální jednotky (většinou se používá IPA).
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
<?xml version^"1.0" encodings"utf-8"?> <lexicon
version ="1.0" xmlns="..." alphabet="ipa" xml:lang="en-US"> <lexeme> <grapheme>color</grapheme> <phoneme>
k' Al9
</phonem> </lexeme> </lexicon>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
Ukázka propojení lexikonu	a gramatiky
• XML format SRGS
<grammar xmlns="..." xml:lang="en" version^"1.0"> <lexicon
uri="http://www.example.com/lexicon.file"/> <lexicon
uri="http://www.example.com/lexicon.file"/> <lexicon
uri="http://www.example.com/strange-city-names.fil type="media-type"/>
•  • •
</grammar>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
Ukázka propojení lexikonu	a gramatiky
• ABNF format SRGS
#ABNF VI.0 ISO-8859-1; language en-US;
lexicon <http://www.example.com/lexicon.file>; lexicon
<http://www.example.com/strange-city-names.file> <media-type>;
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Ukázka použití lexikonu v SSML
<speak version^"1.1" xmlns="..." xml:lang="en-US"> <lexicon uri="lexicon.pis" xml:id="pls"/> <lexicon uri="strange-words.file" xml:id="sw"
type="media-type"/> <lookup ref="pls"> tokens here are looked up in lexicon.pis
<lookup ref="sw"> tokens here are looked up first in strange-words.file and then,   if not found,   in lexicon.pis
</lookup>
tokens here are looked up in lexicon.pis </lookup>
tokens here are not looked up in lexicon documents </speak>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Další standardy W3C VoiceBrowser Activity
• SSML - viz přednáška o syntéze řeči
• Call Control XML - bude probrán příští týden
• State Chart XML - bude probrán příští týden
Luděk Bártek
Dialogové systémy