English version of this page

Zpět na hlavní stránku | seznam cvičení

Úkoly k vypracování:

1. Zobrazení kepstrálního prostoru jednoho mluvčího
   • Informace o zpracovávaných signálech:
     • Nahrané signály převzorkované na 16 kHz (soubory *.CS0) jsou v počítačové učebně 802 na ČVUT FEL (či na serveru hippo) k disposici k přímému použití v adresáři "K:\ZRE\data\zreratdb".
     • Pro práci mimo síť FEL je možné stáhnout pouze následující archivy zrerat_block181_cs0.zip a zrerat_block200_2022_cs0.zip, které obsahují nahrávky od více mluvčích (včetně vašich osobních) převzorkované na 16 kHz.
   • Pro vlastní řečové signály reprezentující promluvy S0-S9 nahrané na 1. cvičení vypočítejte matici MFCC kepstrálních koeficientů pro všechny krátkodobé segmenty s řečovou aktivitou.
   • Použijte dříve používanou funkci vmfcc.m (i další volané funkce , melbf.m, mel.m, melinv.m), přičemž nastavte následující parametry krátkodobé analýzy a výpočtu jednotlivých typů kepstra:
     • před výpočtem kepstra aplikujte preefmázový filtr s koeficientem 0.97,
     • délka segmentu 25 ms, posuv okna 5 ms, Hammingovo váhovací okénko (implicitní nastavení),
     • počet pásem banky filtrů M=30, fmin=100Hz, fmax=6500Hz,
     • počet kepstrálních koeficientů cp=12 (tj. 12 + 1).
     • použijte VAD na bázi výkonu v dB s prahováním na úrovni okolo 50% dynamiky (výkon signálu v jednotlivých segmentech počítejte z původního signálu bez aplikace preemfáze; lze použít fce speechpwr.m a thr_fixed.m) - .
   • Napočítaná kepstra bez koeficientu c[0] uložte do matice cc_spk1_train a sledujte rozložení kepstra v prostoru kepstrálních koeficientů pro c[1] - c[8].
   • Opakujte se stejným nastavením pro promluvy Z0-Z9 a výsledek uložte do matice cc_spk1_test a sledujte rozložení kepstra v prostoru kepstrálních koeficientů pro c[1] - c[8].
   • Výsledek: pro všechny vlastní promluvy S0 - S9 zobrazte:
     • V 1. obrázku vykreslete závislosti c[1]-c[2], c[3]-c[4], c[5]-c[6] a c[7]-c[8] pro napočítané MFCC kepstrum pro promluvy S0 - S9.
     • V 2. obrázku vykreslete stejné závislosti pro promluvy Z0 - Z9.

2. Demonstrace klusterování na bázi K-means algoritmu
   • Pozorujte klusterování na bázi K-means algoritmu s využitím následujícího demosntračního skriptu kmeans_example.m. Demostrační clustrovaná data představují shluky v 2-rozměrném prostoru s volitelnou standardní odchylkou náhodného Gausovského šumu.
   • Pozorujte výsledky klusterování v následujících případech:
     - měnící se standardní odchylka aditivního šumu (proměnná sigma)
     - měnící se počet vzorků klusterovaných dat (proměnná xlen)
     - zvolený počet klusterů (proměnná clusternum)

3. Vytvoření reprezentace mluvčího na bázi kódové knihy
   • Vytvořte kódovou knihu reprezentující váš hlas pomocí výše zmiňovaného K-means algoritmu (funkce kmeans, její použití viz demo kmeans_example.m), tj.
     - vstupním souborem realizací (tj. trénovacími daty) je napočítaná matice kepster cc_spk1_train ,
     - počet klusterů volte v rozmezí 50-500 podle množství trénovacích dat,
     - napočítané centroidy (prvky kódové knihy) zobrazte do obrázku se zobrazenými kepstry pro všechny segmenty.
   • Kontrolovaný výsledek (1 bod):
     • do výše vytvořených obrázků rozložení kepstra pro promluvy S0 - S9 resp. Z0 - Z9 zobrazte též prvky kódové knihy Vašeho hlasu (mluvčí spk1).

   • Opakujte pro druhou sadu testovacích promluv Z0-Z1 od jiného mluvčího (spk2) a sledujte ve 3. obrázku rozdíly pokrytí rozložení kepstra cc_spk2_test vs. kódová kniha Vašeho hlasu.

4. Verifikace řečníka na bázi VQ
   • Kódovou knihu vašeho hlasu použijte pro výpočet vzdáleností kepstrálních vektorů testovacích promluvy od nejbližšího reprezentanta v kódové knize vašeho hlasu. Pro tento výpočet použijte následující funkci vq_encode.m. Hledané vzdálenosti vrací tato funkce jako druhý výstupní parametr.
   • Opakujte pro druhou sadu testovacích promluv Z0-Z1 od jiného mluvčího (spk2).
   • Kontrolovaný výsledek (1 bod): Zobrazte:
     • všechny okamžité hodnoty i průměr kepstrální vzdálenosti pro všechny vaše vlastní testovací promluvy ,
     • všechny okamžité hodnoty i průměr kepstrální vzdálenosti pro testovací promluvy od jiného mluvčího.

5. Verifikace řečníka na bázi GMM
   • Realizujte verifikaci řečníka na bázi GMM. Výpočet kódové knihy nahraďte výpočtem parametrů GMM modelu daného řečníka s využitím stejných trénovacích dat. Volte GMM se 6 směsmi a úplnou kovarianční maticí.
   • Verifikaci pak realizujte na základě výpočtu průměru emitovaných logaritmických pravděpodobností pro GMM model daného mluvčího s využitím dostupné funkce pdf.
   • Výsledek : Zobrazte:
     • všechny okamžité hodnoty i průměr skóre počítaného na bázi emitované logaritmické pravděpodobnosti pro všechny vaše vlastní testovací promluvy,
     • všechny okamžité hodnoty i průměr skóre pro testovací promluvy od jiného mluvčího.
   • Ve volném čase experimentujte s délkou trénovacích dat a počtem směsí GMM modelu.

6. ON-LINE (OFF-LINE) verifikace řečníka na bázi GMM
   • Realizujte verifikaci pro on-line nahranou promluvu, případně pro vybrané promluvy různých mluvčích z databáze zreratdb. Verifikaci realizujte na bázi GMM.
   • Kontrolovaný výsledek (1 bod):
     • VERIFIKACE vašeho hlasu případně hlasu vybraného mluvčího z dostupných off-line nahrávek bloků BLOCK181 a BLOCK200.
     • Požadovaný výstup: PŘIJMUTÍ/ZAMÍTNUTÍ identity + napočítané skóre + verifikační práh.

   Požadované řešení odevzdejte přes WEBové rozhraní v Moodle FEL, viz VERIFIKACE ŘEČNÍKA NA BÁZI GMM.