Úkoly k vypracování:

• Výpočet parametrů GMM modelu samohlásek a řečové pauzy
  • Určete parametry GMM modelů pro základních 5 samohlásek a řečovou pauzu. Použijte postup analogický klasifikaci samostatných izolovaných samohlásek na bázi GMM, viz cvičení "Klasifikace samohlásek na bázi GMM" (uskutečněné v 7. týdnu semestru).
  • Pro trénování modelů samohlásek použijte dostupné promluvy pro všechny samohlásky, tj. A1, A2, A3, E1, ...., U1, U2, U3; pro trénování modelu řečové pauzy pak neřečové části promluv B0 a B1, obojí minimálně pro všechny mluvčí bloků BLOCK181 (později je možné experimentovat s větším množstvím trénovacích dat).
  • K přímému použití v počítačové učebně na ČVUT FEL jsou uvedená data k disposici v adresáři "H:\VYUKA\ZRE\signaly\zreratdb". Pro práci mimo učebny FEL je možné stáhnout následující archiv signálů převzorkovaných na 16 kHz zrerat_block_181_cs0.zip, všechny samohlásky jsou k disposici v následujícím archivu zrerat_czech_vowels_all_cs0.zip.
  • Jako příznaky použijte 13 MFCC kepstrálních koeficientů včetně nultého koeficientu c[0]. Parametry výpočtu kepstra volte pro dané signály vzorkované 16 kHz následovně:
    - délka segmentu 25 ms, posuv okna 10 ms, Hammingovo váhovací okénko,
    - počet pásem banky filtrů M=30, fmin=100 Hz, fmax=7000 Hz,
    - pro výpočet použijte funkci vmfcc.m (s dále volanými funkcemi melbf.m, mel.m, melinv.m).
    - při výběru trénovacích dat pro modely samohlásek použijte VAD na bázi výkonu v dB s prahováním na úrovni okolo 50-60% dynamiky,
    - při výběru trénovacích dat pro model ticha použijte VAD na bázi lineárního výkonu s prahováním na úrovni okolo 10% dynamiky.
    - pro aplikaci VAD použijte již dříve používané funkce speechpwr.m a thr_fixed.m.
  • Kontrolovaný výsledek (BEZ BODOVÉHO HODNOCENÍ): Zobrazte pro vytvořené trénovací množiny:
    • rozložení kepstra samohlásek i řečové pauzy, tj. závislosti c[0]-c[1], c[2]-c[3], c[4]-c[5] a c[6]-c[7] pro MFCC kepstrum.

  • Při výpočtu parametrů GMM použjte počet směsí mixnum = 8 (později je možné s počtem směsí experimetovat) a pracujte s GMM modelem s diagonální kovarianční maticí.

• Definice HMM modelu sekvence 5 izolovaných samohlásek
  • Vytvořete strukturovanou proměnnou reprezentující levo-pravý HMM model bez přeskoků stavů pro promluvu 5 izolovaných číslovek oddělených řečovou pauzou, tj. strukturovanou proměnnou s následujícími položkami:
       - hmm.states ... počet stavů HMM modelu,
       - hmm.b ... pole GMM modelů délky odpovídající počtu stavů (cell array),
       - hmm.a ... matice pravděpodobností přechodů s dimenzí odpovídající počtu stavů.
  • S parametry uchovanými v strukturované proměnné reprezentující HMM model vypočítejte emitovanou pravděpodobnost pro promluvy se sekvencí izolovaných samohlásek P0, P1 a P2. Všechny napočítané emitované logaritmické pravděpodobnosti uložte do matice s počtem řádků odpovídajícím počtu příznakových vektorů (krátkodobých segmentů) analyzované promluvy a počtem sloupců odpovídajícím počtu stavů HMM modelu.
  • Kontrolovaný výsledek (BEZ BODOVÉHO HODNOCENÍ): Zobrazte pro vytvořené trénovací množiny:
    • časové závislosti emitované logaritmické pravděpodobnosti pro 1., 2., 4., 6., 8. a 10. stav modelu sekvence AEIOU (promluva P0).
    • analogicky časové závislosti emitované logaritmické pravděpodobnosti pro 1., 2., 4., 6., 8. a 10. stav modelu sekvence UOIEA (promluva P1) resp. IUAOE (promluva P2).

  ---

  DOMÁCÍ PŘíPRAVA NA NÁSLEDUJÍCÍ CVIČENÍ

• Nalezení hranic samohlásek v promluvách P0, P1 a P2
  • Pro promluvy P0, P1 a P2 nalezněte manuálně hranice hlásek a jednotlivých paus oddělujících jednotlivé hlásky.
  • Nalezené hranice (ve vzorcích resp. segmentech pro danou segmentaci s délkou okna 25 ms a posuvem okna 10 ms) uložte pro každou promluvu do samostatného vektoru.
• Příprava na implementaci dekódovacích technik
  • Prostudujte principy výpočtu věrohodnosti průchodu HMM modelem na bázi dopředné procedury, zpětné procedury a Viterbiho algoritmu.
  • Prostudujte možnost výpočtu okupační věrohodnosti j-tého stavu v čase t (resp. pro t-tý pozorovaný vektor).