Úvod do MIR
aneb mnoho informací, které pouze odhadujeme
Matěj Ištvánek
VUT
MIR (Music Information Retrieval)
• Získávání informací z audio signálů (hudba i zvuky obecně)
• Velmi mladé vědecké odvětví (proč? výzkumy přeci začaly dříve)
– až od cca 90. let
• Velký zájem s rozvojem tzv. strojového učení (proč?)
• Potenciál komerčního využití (například?)
• Potenciál hudební analýzy
• Snaha o automatické metody, objektivizace
Audio
• Digitální nahrávka: vzorky v čase dle vzorkovací frekvence (+ kódování)
• Časová informace – Kdy začíná nota? Jaký má průběh?
ADSR envelope
Jenže co když je jich víc zároveň?
– a co další nástroje?
Fourierova transformace
• Z časové posloupnosti vzorků toho moc nezjistíme
• Jak ale lidské ucho (potažmo mozek) dokáže „slyšet“?
• Jeden tón ≠ jedna frekvence (platí to u všech nástrojů?)
My přeci slyšíme výšku tónu! (většinou)
• Stačí použít Fourierovu transformaci (resp. DFT, resp. FFT)
• Tím získáme informaci o harmonických funkcích, které tvoří daný
signál (žádné tam být ale nemusí) – tedy můžeme určit výšku tónu
• Nezáleží však pouze na frekvenci – psychoakustika
• Jenže nezjistíme, kdy se tam dané frekvence vyskytují…
Spektrum
• K tomu můžeme využít STFT, tedy krátkodobou Fourierovu transformaci
• Časově-frekvenční reprezentace
• Aplikujeme FT na po sobě jdoucí časové úseky
= dostaneme tzv. spektrum (modulové a fázové)
• Podobnost s rozkladem světla na složky:
Jak to vypadá?
MIR systémy se zaměřením na hudbu
• Onset, offset, and key detection
• Beat and tempo tracking / detection
• Music / Audio Generation
• Music Genre Recognition
MIR systémy se zaměřením na hudbu
• Mood classification
• Automatic Music Transcription
• Music tagging
• Music recommendation
MIR pro muzikologii
• Poznatky z MIR lze aplikovat i na hudební analýzu
• projekt Mazurka (http://www.mazurka.org.uk/)
• co charakterizuje mazurku?
• jak efektivně předat získané informace?
Tempo correlation maps
MIR pro muzikologii
• Možnosti extrakce informací – vývoj melodie, ladění, vibrato, tremolo,
barva, dynamika, rytmická struktura…
1) jakou hudbu analyzovat?
2) jak získat nahrávky?
3) co analyzovat?
4) jak tyto informace přednést?
= kooperace výzkumníků MIR a muzikologů