English version of this page

Zpět na hlavní stránku | seznam cvičení

Úkoly k vypracování:

• DOMÁCÍ PŘÍPRAVA a VÝSLEDEK MINULÉHO CVIČENÍ:
  Natrénování GMM modelů nezávislých na mluvčím, pro modelování ticha a samohlásek. Výpočet emitovaných pravděpodobností ve stavech HMM modelu
  • Určete parametry GMM modelů pro základních 5 samohlásek a řečovou pauzu. Použijte postup analogický klasifikaci samostatných izolovaných samohlásek na bázi GMM, viz cvičení "Klasifikace samohlásek na bázi GMM" (uskutečněné v 7. týdnu semestru).
  • Při výpočtu parametrů GMM použijte minimálně počet směsí mixnum = 8 (později je možné s počtem směsí experimetovat) a pracujte s GMM modelem s diagonální kovarianční maticí.
  • Pro trénování modelů samohlásek použijte dostupné promluvy pro všechny samohlásky, tj. A1, A2, A3, E1, ...., U1, U2, U3; pro trénování modelu řečové pauzy pak neřečové části promluv B0 a B1, obojí minimálně pro tolik mluvčích z databáze zreratdb, aby se spolehlivě natrénovaly GMM modely pro počet směsí mixnum = 8 (později je možné experimentovat s větším množstvím trénovacích dat).
  • K přímému použití v počítačové učebně na ČVUT FEL jsou uvedená data k disposici v adresáři "K:\VYUKA\ZRE\signaly\zreratdb". Pro práci mimo učebny FEL je možné stáhnout následující archiv signálů potřebných pro tuto úlohu převzorkovaných na 16 kHz zrerat_block200_2023_cs0.zip.
  • Jako příznaky použijte 12+1 MFCC kepstrálních koeficientů (tj. včetně nultého koeficientu c[0]). Parametry výpočtu kepstra volte pro dané signály vzorkované 16 kHz následovně:
    - před výpočtem kepstra aplikujte preefmázový filtr s koeficientem 0.97,
    - délka segmentu 25 ms, posuv okna 10 ms, Hammingovo váhovací okénko,
    - počet pásem banky filtrů M=30, fmin=100 Hz, fmax=6500 Hz,
    - pro výpočet použijte funkci vmfcc.m (s dále volanými funkcemi melbf.m, mel.m, melinv.m).
    - při výběru trénovacích dat pro modely samohlásek použijte VAD na bázi výkonu v dB s prahováním na úrovni okolo 50-60% dynamiky (výkon signálu v jednotlivých segmentech počítejte z původního signálu bez aplikace preemfáze),
    - při výběru trénovacích dat pro model ticha použijte VAD na bázi lineárního výkonu s prahováním na úrovni okolo 5-10% dynamiky případně VAD na bázi výkonu v dB s prahováním na úrovni okolo 30% dynamiky.
    - pro aplikaci VAD použijte výpočet výkonu z 2. cvičení a prahovací funkci thr_fixed.m.

  • Vypočtěte matici emitovaných logaritmických pravděpodobností (s vhodným prahováním) pro všechny stavy daného HMM modelu. Uvedená matice bude mít počet řádků odpovídající počtu stavů HMM modelu a počet sloupců odpovídající počtu příznakových vektorů (krátkodobých segmentů) analyzované promluvy.
  • Výsledek:
    • Zobrazte pro testovací promluvy P1, P2 a P3 a HMM modely pro sekvence AEIOU, UOIEA reps. IUAOE napočítané emitované logaritmické pravděpodobnosti pro všechny stavy. Použijte funkci pcolor a následně shading interp.

  • Nalezení hranic samohlásek v promluvách P1, P2 a P3
    • Pro promluvy P1, P2 a P3 nalezněte manuálně hranice hlásek a jednotlivých paus oddělujících jednotlivé hlásky.
    • Nalezené hranice (ve vzorcích resp. segmentech pro danou segmentaci s délkou okna 25 ms a posuvem okna 10 ms) uložte pro každou promluvu do samostatného vektoru.

  • Teoretická příprava na implementaci dekódovacích technik
    • Prostudujte principy výpočtu věrohodnosti průchodu HMM modelem na bázi dopředné procedury, zpětné procedury a Viterbiho algoritmu.
    • Prostudujte možnost výpočtu okupační věrohodnosti j-tého stavu v čase t (resp. pro t-tý pozorovaný vektor).

• Definice přechodové matice HMM modelu
  • Určete parametry přechodové matice při následujícím předpokládaném tvaru sekvence 5 izolovaných samohlásek - předpokládaná doba trvání každé hlásky i pauzy je 1 s a uložte do položky hmm.a u příslušného HMM modelu. Řád matice A uvažujte rovný hmm.states.
  • Výsledek:
    • Zobrazte v command promptu určenou matici pravděpodobností přechodů A.

• Výpočet pravděpodobosti průchodu HMM modelem na bázi Viterbiho algoritmu
  • Vytvořte funkci myviterbi realizující výpočet pravděpodobosti průchodu HMM modelem na bázi Viterbiho algoritmu. Vstupem dané funkce bude matice příznakových vektorů (kepster) a zvolený HMM model. Výstupem bude v prvním kroku celková pravděpodobnost průchodu modelem optimální cestou.
  • Určete zpětný trasovaním optimální cestu průchodu HMM modelem. Srovnejte
  • Určete hranice jednotlivých hlásek v promluvách P1, P2 a P3.
  • Výsledek: Zobrazte pro testovací promluvy P1, P2 a P3
    • Vypočítané pravděpodobnosti průchodu HMM modelem pro 3 možné sekvence, tj. AEIOU, UOIEA, IUAOE.

  • Výsledek: Pro testovací promluvy P1, P2 a P3
    • Do obrázku s napočítanými emitovanými pravděpodobnostmi pro všechny stavy (z minulého výsledku), vyneste určenou optimální cestu.
    • Časový průběh a spektrogram s vyznačenými určenými hranicemi hlásek na základě zpětného trasování.
    • Srovnejte automaticky určené hranice hlásek s ručně olabelovanou promluvou (tj. s ručně nastavenými hranicemi).

  • Na základě znalosti hranic hlásek a řečových paus, upřesněte matici pravděpodobností přechodů a určete opět pravděpodobnosti průchodu HMM modelem s upřešenými hodnotami pravděpodobností přechodů.

• Okupační věrohodnost ve stavech HMM modelu
  • Ve vytvořené funkci myviterbi uložte také matici dopředných pravděpodobností alfa příslušných každému stavu a časovém okamžiku při průchodu HMM modelem.
  • Analogicky k funkci myviterbi vytvořte také funkci mybackviterbi realizující zpětný výpočet pravděpodobosti průchodu HMM modelem na bázi Viterbiho algoritmu (tj. od posledního stavu k prvnímu s pravděpodobnostmi beta). Vstupem dané funkce bude opět matice příznakových vektorů (kepster) a zvolený HMM model. Výstupem bude v prvním kroku celková pravděpodobnost průchodu modelem optimální cestou a matice pravděpodobností beta v každém stavu a časovém okamžiku.
  • Nepovinný výsledek : Zobrazte pro testovací promluvy P1, P2 a P3 a HMM model AEIOU
    • vypočítané dopřené a zpětné pravděpodobnosti průchodu HMM modelem,
    • okupační věrohodnost jednotlivých stavů v každém časovém okamžiku (pozor, je potřeba nastavit stejné měřítko barevné stupnice pro zobrazení uvedených pravděpodobností pro promluvy P1, P2 a P3).

  • Vyzkoušejte výpočet pravděpodobnosti standardní dopřednou resp. zpětnou procedurou (podtečení výpočtu).