Speech Recognition Grammar Specification	
Semantic Intepretation for Speech Recognition	
PLS	
Ostatní standardy W3C VoiceBrowser Activity	
Dialogové systémy
Luděk Bártek
Fakulta informatiku Masarykova univerzita
podzim 2023
Luděk Bártek       Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity			
0			
Q Speech Recognition Grammar Specification Q Semantic Intepretation for Speech Recognition
Q Ostatní standardy W3C VoiceBrowser Activity
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
SRGS
• W3C specifikace jazyka pro zápis bezkontextových gramatik pro podporu rozpoznávání řeči.
• Aktuální verze 1.0 (březen 2004).
• Nahrazuje původně používaný standard JSGF - i nadále používán některými systémy pro rozpoznávání řeči.
9 Dvě varianty zápisu gramatiky:
• XML
• Augmented Backus-Naur Form (ABNF).
• Liší se pouze zápis nikoliv vyjadřovací síla.
• Možnost použití způsobu zápisu závisí na použité platformě.
• Větší podpora XML formátu SRGS.
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Gramatiky (Teorie Formálních Jazyků)
• Gramatika G = (A/, Z, P, S)
• N - množina neterminálních symbolů
• Z - abeceda
• P - množina pravidel
• S - kořenový neterminál.
• Bezkontextová gramatika
• gramatika G = (A/, Z, P, S)
• pravidla ve tvaru: A/^{A/uI}*.
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity												
XI	M	L	Foi	rr	71	ia	tG	rai	m	iat	iky	
o XML prolog.
• Kořenový element - grammar.
• Atributy:
• root - pravidlo odpovídající kořenovému neterminálnímu symbolu
• xmhlang - jazyk gramatiky
• version - použitá verze SRGS (aktuálně pouze 1.0)
• mode
• dtmf
• voice - implicitní hodnota
• ...
• Element grammar - obsahuje množinu pravidel (elementů rule).
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
ABNF Gramatika
o ABNF hlavička
• #ABNF verze [kódování]
#ABNF  1.0 ISO-8859-2
• root $ jméno pravidla; - kořenový neterminální symbol
• language jazyk;
• mode voice|dtmf;
#ABNF  1.0 UTF-8  root $pozdrav; language cs-CZ; mode voice;
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• Levá strana pravidla:
o XML formát
• element rule
• atribut id - jednoznačný identifikátor pravidla
• obsah - pravá strana pravidla
<rule id="pozdrav"> ahoj </rule>
• ABNF
• <id-pravidla>
$pozdrav = ahoj;
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• Pravá strana pravidla
• může obsahovat terminálni a neterminální symboly:
sekvenci
• varianty o XML formát
• tělo elementu rule
<rule id="vstup">
Proved <ruleref uri="#prikazy"/>
s parametry <ruleref uri="#parametry"/>.
</rule>
• ABNF
• $<neterminál> = <pravá strana>
$vstup =
Proved $<http://server/grammar.gram#prikazy> s parametry
$<http://server/grammar.gram#parametry>
nebo
$vstup = Proved $prikazy s parametry $parametry
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
o Posloupnost terminálních a neterminálních symbolů.
• X^YZa
• Lze ji rozdělit na logické části.
• XML zápis:
• zapsat přímo
<rule id="spojeni">
Chci  jet z <ruleref uri="#misto"/> </rule>
• dělení na logické části
• využitelnost
• počet opakování dané části (atribut repeat)
• sémantická interpretace
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Ukázky
• XML Formát:
<rule id="spo jeni"> Chci jet
<item>z <ruleref uri="#misto"/> </item> <item> do <ruleref uri="#misto"/> </item> <item> <ruleref uri="#druh"/></item> <item> <ruleref uri="#datum"/></item> <item> v <ruleref uri="teas"/></item> </rule>
• ABNF zápis:
$spojeni =
Chci jet z $misto do $misto $druh $datum v $cas.
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification
Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• umožňují uživateli zadat jeden z možných vstupů
• X^Y\Z\a
• XML zápis:
<rule id="barvy"> <one-of> <item>cervena</item> <item>zelena</item> <item>modra</item> </one-of> </rule>
o ABNF zápis
$barvy =   (červena|zelena|modra)
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
9 Umožňuje specifikací:
• nepovinných částí promluvy
• opakovaných částí promluvy
9 XML zápis
• pomocí atributu repeat u elementu item
<rule id="adresa"> www
<item repeat = " 1-211 >
tečka <ruleref uri="#castAdresy11 /> </item>
tečka <ruleref uri="#tld"/> </rule>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• ABNF zápis
• za prvek uvedeme počet opakování uzavřený do o
$adresa = www $castAdresy <l-2> $tld
$castAdresy = tečka $text
• počet opakování
• číslo - číslo krát
o číslol- číslo2 - číslol - číslo2 krát
• číslo- - číslo - oo krát
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification
Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• GARBAGE - odpovídá libovolné promluvě až po následující blíže specifikovanou část
• VOID - pravidlo, které nelze vyslovit (zakázaní určité promluvy)
• NULL - pravidlo, které je vždy rozpoznáno (může být i prázdné)
• XML formát: <ruleref special="pravidlo"/ >
• ABNF: $pravidlo
Luděk Bártek
Dialogové systémy
• XML formát:
<rule id="spo jeni"> <ruleref special="GARBAGE"/> z <ruleref uri="#misto"/> do <ruleref uri="#misto"/> <ruleref uri = "#prostredek"/>
</rule>
• ABNF formát:
$spojeni = $ GARBAGE z $misto
do $misto $prostredek
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity						
	Li	tei	ral	:u	ra	
o Specifikace W3C.
• Příklady použité na přednášce (viz složka data ve studijních materiálech v ISu).
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity			
SI	IS	R	
o Sémantika - přiřazuje význam slovům a promluvám.
o Sémantika v dialogových systémech - přiřazuje význam promluvám a jejich částem
• SISR - standard W3C pro zpracování sémantiky promluvy.
• aktuální verze 1.0
• publikován - duben 2007
• úzce spjat se standardy
• ECMAScript
• SRGS
• Umožňuje přiřazení základních interpretací částem promluvy a vytváření odvozených interpretací pro nadřazená tvrzení
o přiřazení interpretace částem promluvy
o odvozování interpretace na základech dílčích interpretací
• přiřazení interpretace vstupním polím dialogu
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Přiřazení interpretace části promluvy
• Sémantická interpretace bývá součástí pravidla SRGS.
a K pravidlu přiřazena pomocí elementu/atributu tag.
• XML formát SRGS gramatiky:
• element tag
<item>
<ruleref uri="souhlas"/> <tag>{out='ano'}</tag> </item>
• atribut tag elementu item
<item tag="ano">jo</item>
• ABNF tvar:
o uveden za interpretovanou část promluvy • tvar: {interpretace}
$souhlas = jo {ano}
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
Odvozování interpretace na základě dílčích interpretací	
• Zápis pomocí výrazů v jazyce ECMAScript.
• Přiřazeno k pravidlům pomocí elementu tag.
• Interpretace reprezentována pomocí objektů jazyka ECMAScript.
• Stínové proměnné:
* pro pravidla - objekt rules
• výstup - objekt out
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Odvozování interpretace na základě dílčích interpretací
XML formát SRGS gramatiky
<rule id="vlastnictvi"> <item>Mám
<item repeat="0-1">
<ruleref uri="#barva"/> </item>
<ruleref uri="prostředek"/>
<tag>
{out = rules.barva + '+ rules.prostředek;} </tag> </item> </rule>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Odvozování interpretace na základě dílčích interpretací
ABNF gramatika
$vlastnictvi = mam $barva <0-l> $prostredek
{out = rules.barva + ';'   + rules.prostředek; }; $barva =   (červenou  {červena}|červene{červena}
|zelenou{zelena}|zelene{zelena}); $prostredek =   (auto{auto}   |   kolobežku{kolobežka})
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
Přiřazení interpretace vsti formuláře	ipním polím VoiceXML
• Využívají se atributy stínového objektu out
• XML formát:
<rule id="vlastnictvi"> <item>
Mám <item repeat="0-1"> <ruleref uri="tbarva"/> <ruleref uri="#prostředek"/> <tag>
{  out.barva = rules.barva; out.prostředek = rules.prostředek; } </tag> </item> <rule>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
Přiřazení interpretace vsti formuláře	ipním polím VoiceXML
• ABNF gramatika:
$vlastnictvi = mam $barva <0-l> $prostredek {
out.barva = rules.barva;
out.prostředek = rules.prostředek;
};
$barva =   (červenou  {červenali   červene{červena}
zelenou{zelena}|   zelene{zelena}); $prostredek =   (auto{auto} |   kolobežku{kolobežka});
Luděk Bártek
Dialogové systémy
• Specifikace SISR
• ECMAScript
• Příklady použité na přednášce.
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Pronunciation Lexicon Specification (PLS)
• Standard W3C
• Aktuální verze 1.0 (říjen 2008)
• Definuje značkování pro specifikaci slovníků výslovnosti pro podporu syntézy a rozpoznávání řeči.
• Specifikace na stránkách W3C Specifikace na stránkách W3C
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Základní elementy PLS
• Kořenový element - lexicon
• atributy - xmlns - specifikace jmenného prostoru (http://www.w3.org/2005/01/pronunciation-lexicon)
• xmhlang - jazyk dokumentu
• version - verze dokument (1.0)
9 alphabet - abeceda použitá pro fonetický přepis
o lexeme - obsahuje popis pro jednu lexikální jednotku (slovo, zkratku,...
• musí obsahovat aspoň jeden dceřiný element grapheme
• phoneme - obsahuje fonetický přepis dané lexikální jednotky (většinou se používá IPA).
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity								
	U	kázl	kal	lexi	koi	ni	j	
<?xml version^"1.0" encodings"utf-8"?> <lexicon
version ="1.0" xmlns="..." alphabet="ipa" xml:lang="en-US"> <lexeme> <grapheme>color</grapheme> <phoneme>
k' Al9
</phonem> </lexeme> </lexicon>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
Ukázka propojení lexikonu	a gramatiky
• XML format SRGS
<grammar xmlns="..." xml:lang="en" version^"1.0"> <lexicon
uri="http://server/lexicon.file"/> <lexicon
uri="http://server/lexicon.file"/> <lexicon
uri="http://server/strange-city-names.file" type="meclia-type " />
•  • •
</grammar>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
Ukázka propojení lexikonu	a gramatiky
• ABNF formát SRGS
.file>; -names.file>
#ABNF VI.0 ISO-8859-1; language en-US;
lexicon <http://server/lexicon lexicon
<http://server/strange-city <media-type>;
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
Ukázka použití lexikonu v í	BSML
<speak version^"1.1" xmlns="..." xml:lang="en-US"> <lexicon uri="lexicon.pis" xml:id="pls"/> <lexicon uri="strange-words.file" xml:id="sw"
type="media-type"/> <lookup ref="pls"> tokens here are looked up in lexicon.pis
<lookup ref="sw"> tokens here are looked up first in strange-words.file and then,   if not found,   in lexicon.pis
</lookup>
tokens here are looked up in lexicon.pis </lookup>
tokens here are not looked up in lexicon documents </speak>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Další standardy W3C VoiceBrowser Activity
• SSML - viz přednáška o syntéze řeči
• Call Control XML - bude probrán příští týden
• State Chart XML - bude probrán příští týden
Luděk Bártek
Dialogové systémy