11.1 Statistiky vyšších řádů

Je zřejmé, že pomocí statistik 2. řádů hledané $\mathbf{W}$ nenajdeme (pro jakékoli ortogonální $\mathbf{W}$ jsou složky $\mathbf{z}$ dekorelované). Musíme tedy sáhnout po statistikách vyšších řádů.

Nejprve se podíváme na momenty. Momenty můžeme charakterizovat jako koeficienty Taylorova rozvoje charakteristické funkce (v $\omega = 0$). Mějme náhodnou veličinu $x$ její hustotu pravděpodobnosti označíme $f(x)$ a charakteristickou funkci $F(\jmath \omega)$ (Fourierovu transformaci $f(x)$)

$$F(\jmath \omega) = \mathrm{E}[e^{\jmath \omega x}] = \intop_{\mat... ...}(0) (\jmath \omega)^k = \sum_{k=0}^{\infty} \frac{m_k}{k!} (\jmath \omega)^k .$$ (11.9)

První a druhá rovnost je vyjádření charakteristické funkce pomocí Furierovy transformace z hustoty pravděpodobnosti. První vyjádření je zapsáno pomocí operátoru střední hodnoty. Třetí a čtvrtá rovnost je vyjádření charakteristické funkce pomocí Taylorova rozvoje. Pro momenty jsem použil zkráceného označení $m_k = \mathrm{E}[x^k]$ (budu ho používat jeli zřejmé o jakou hustotu příadně náhodnou veličinu se jedná, v opačném případě budu používat přesnějších označení: $m_k(x)$ - $k$-tý moment pro náhodnou veličinu $x$, $m_{f,k}$ - $k$-tý moment pro hustotu $f(x)$). Poslední rovnost říká, že momenty jsou derivacemi charakteristické funkce v nule. To můžeme jednoduše ukázat ^11.2

$$\begin{aligned}\frac{\mathrm{d}^k F(\jmath \omega) }{\mathrm{d}... ...x)} f(x) x^k \mathrm{d} x = \mathrm{E}[x^k] = m_k \end{aligned} .$$

Složky směsi $\mathbf{x}$ lze z (11.1) lze rozepsat jako lineární kombinace nezávislých náhodných veličin. Hledání $\mathbf{W}$ znamená vlastně nalézt koeficienty lineárních kombinací. Proto nás zajímá, zda se tyto operace dají pomocí momentů jednoduše vyjádřit. Lineární kombinaci nezávislých náhodných veličin mohu vždy rozepsat pomocí součtu nezávislých náhodných veličin a skalárního násobku. Co se při těchto operacích děje s momenty? Jelikož známe vztah charakteristické funkce a momentů je odpověď jednoduchá.

Nejprve se podíváme na součet. Mějme dvě nezávislé náhodné veličiny $x$ a $y$, jejich součet označíme $z = x+y$. Hustoty pravděpodobnosti označím $f(x)$, $g(y)$ a $h(z)$. Charakteristické funkce označím velkými písmeny jak jsme zvyklí u obrazů Fourierovy transformace $F(\jmath \omega)$, $G(\jmath \omega)$, $H(\jmath \omega)$. Tabulka 11.1 uvádí co se děje s hustotami, charakteristickými funkcemi, atd. při součtu nezávislých náhodných veličin.

Table 11.1: Součet nezávislých náhodných veličin

hustoty pravděpodobnosti	charakteristické funkce	logaritmy char. funkcí
$h = f*g$	$H(\jmath \omega) = F(\jmath \omega) G(\jmath \omega)$	$\ln H(\jmath \omega) = \ln F(\jmath \omega) + \ln G(\jmath \omega)$

Jak víte hustota součtu nezávislých náhodných veličin vede na konvoluci hustot sčítanců

$$h(z) = \int_{\mathrm{dom}(x)} f(x) g(z-x) \mathrm{d} x,$$

což je první sloupec tabulky. Víte také, že Furierovy obrazy se při konvoluci předmětů násobí, to je druhý sloupec (charakteristické funkce jsou Fourierovy obrazy hustot). Jak je to s momenty se dozvíme, rozepíšeme-li druhý sloupec tabulky pomocí Taylorových rozvojů

$$\sum_{k=0}^{\infty} \frac{m_{h,k}}{k!} (\jmath \omega)^k = \left(... ...imes \left( \sum_{k=0}^{\infty} \frac{m_{g,k}}{k!} (\jmath \omega)^k \right) .$$

Vidíme, že se jedná o součin dvou polynomů. Všiměte si, že při výpočtu koeficientů součinu polynomů konvolvujete koeficienty sčítanců. Momenty součtu jsou tedy dány konvolucí momentů sčítanců. To je již docela složitý vztah. Proto se raději budeme snažit nalézt jiné charakteristiky ve kterých by se součet náhodných veličin vyjadřoval snadněji.

11.1.0.1 Kumulanty

Postupujeme obdobně jako v kepstrální analýze, místo charakteristických funkcí budeme pracovat s jejich logaritmy, viz. 4. sloupec tabulky (součin přejde v logaritmu na součet). Místo momentů (derivací charakteristické funkce v nule) vezmeme derivace logarimu charakteristické funkce v nule.

$$c_k = \frac{\mathrm{d}^k \ln F(\jmath \omega)}{\mathrm{d} (\jmath \omega)^k}(0) .$$ (11.11)

Jedná se tedy o koeficienty Taylorova rozvoje logaritmu charakteristické funkce

$$\ln F(\jmath \omega) = \sum_{k=0}^{\infty} \frac{c_k}{k!} (\jmath \omega)^k .$$ (11.12)

Tyto charakteristiky se nazývají kumulanty. Zavedu značení $c_k$ pro $k$-tý kumulant (případně $c_{f,k}$ nebo $c_k(x)$). Zpíšemi-li nyní 4. slopec tabulky pomocí Taylorových rozvojů

$$\sum_{k=0}^{\infty} \frac{c_{h,k}}{k!} (\jmath \omega)^k = \left(... ...^k \right) = \sum_{k=0}^{\infty} \frac{c_{f,k} + c_{g,k}}{k!} (\jmath \omega)^k$$ (11.13)

zjistíme, že se kumulanty jednoduše sčítají. Toto vlastnost jsem poněkud čitelněji zapsal do tabulky 11.2

Table 11.2: Vlastnosti kumulantů (předpokládáme, že $x$ a $y$ jsou nezávislé náhodné veličiny, $a$ je skalár): 1. součet nezávislých náhodných veličin, 2. skalární násobek

1.	$c_k(x+y) = c_k(x) + c_k(y)$
2.	$c_k(ax) = a^k c_k(x)$

Jak je to se skalárním násobkem? Mějme náhodnou veličinu $x$. Označme

$$y = ax$$ (11.14)

náhodnou veličinu, která se od $x$ liší skalárním násobkem. Objemové elementy se z (11.14) transformují

$$\mathrm{d}y = a \mathrm{d}x .$$ (11.15)

Pravděpodobnost, že $x$ je v objemovém elementu $\mathrm{d}x$ můžeme vyjádřit $\mathrm{d}P = f(x)\mathrm{d}x$. Pravděpodobnost, že $y$ je v objemovém elementu $\mathrm{d}y$ musí být totožná $\mathrm{d}P = g(y)\mathrm{d}y$, neboť bijektivní zobrazení (11.14) zobrazuje objemový element $\mathrm{d}x$ na objemový element $\mathrm{d}y$ (tedy $x$ je v $\mathrm{d}x$ právě tehdy, když $y$ je v $\mathrm{d}y$). Z rovnosti $f(x)\mathrm{d}x = g(y)\mathrm{d}y = g(y) a \mathrm{d}x$ dostáváme pro hustoty

$$g(y) = \frac{f(x)}{a} .$$ (11.16)

Nyní určíme vztah mezi charakteristickými funkcemi

$$G(\jmath \omega) = \int_{\mathrm{dom}(y)} g(y) e^{\jmath \omega y... ...\mathrm{dom}(x)} f(x) e^{\jmath \omega a x} \mathrm{d} x = F(\jmath \omega a) .$$ (11.17)

Rovnají se tedy i logaritmy $\ln G(\jmath \omega) = \ln F(\jmath \omega a)$. Obě strany nahradíme Taylorovým rozvojem

$$\sum_{k=0}^{\infty} \frac{c_k(y)}{k!} (\jmath \omega)^k = \sum_{k... ...ath \omega a)^k = \sum_{k=0}^{\infty} \frac{a^k c_k(x)}{k!} (\jmath \omega)^k .$$ (11.18)

Z rovnosti obou polynomů plyne $c_k(y) = a^k c_k(x)$, viz. též druhá vlastnost v tabulce 11.2.

11.1.0.2 Výpočet kumulantů pomocí momentů

Momenty umíme odhadovat jednoduše jako výběrové průměry. Jak ale odhadneme kumulanty? Rozepíšeme (11.11) pomocí vztahu pro derivaci složené funkce. Tím se zbavíme logaritmu a zbydou pouze derivace charakteristické funkce v nule, které se podle (11.10) dají zapsat jako momenty. Nejprve si ale vyčíslíme poěkud neobvyklý moment $m_0$ (budeme ho rovněž pro vyjádření kumulantů potřebovat)

$$m_0 = \left. F(\jmath \omega) \right\vert _{\omega=0} = \int_{\mathrm{dom}(x)} f(x) \mathrm{d}x = 1$$ (11.19)

Nyní již uvedu vyjádření několika prvních kumulantů pomocí momentů

$$\begin{aligned}c_0 &= \left. \ln F(\jmath \omega) \right\vert _... ...m_4 &\left.=\right\vert _{m_1=0} - 3 m_2^2 + m_4 \\ \end{aligned}$$

U prvních třech případů jsem uvedl i jak dopadne derivace před dosazením nuly za $\omega$, pak je uveden výsledek po dosazení (tedy vyjádření pomocí momentů) a nakonec je uvedeno zjednodušení pro nulovou střední hodnotu $m_1 = 0$.

11.1.0.3 Souvislost maxim sudých kumulantů vyšších řádů s nezávislými směry

Kumulanty lichých řádů nebývají příliš výrazné (téměř neviditelné modré průběhy na Obr. 10.3 znázorňují průběh 3. kumulantu na směru), proto je k separaci nepoužijeme. První kumulant, který přichází v úvahu je kumulant 4. řádu (špičatost). Na obrázcích Obr. 10.3, Obr. 10.6 je průběh tohoto kumulantu znázorněn fialovou barvou. Vidíme, že jeho průběh nabývá v nezávislých směrech maxima (kromě složek s normálním rozdělením Obr. 10.5, kde jsou všechny kumulanty vyšších řádů nulové). Nezávislé směry ( $\mathbf{W}$) budeme tedy hledat jako směry maximalizující 4. kumulant.

Nejprve ale uvedu vysvětlení (trochu přesnější než odkaz na pár obrázků) proč je 4. kumulant v nezávislých směrech maximální. Omezím se však pouze na případ směsi dvou nezávislých procesů ($K=2$).

Jelikož $\mathbf{v}$ se od vektoru $\mathbf{z}$ (případně $\mathbf{s}$) s nezávislými směry liší pouze ortogonální transformací (v dvourozměrném případě otočením), musí být již ve $\mathbf{v}$ nezávislé směry na sebe kolmé^11.3. Jak je naznačeno na obrázku Obr. 11.1.

Figure 11.1: K výpočtu kumulantu na směru

Jsou zde jednak vidět bázové vektory $\mathbf{v}_1$, $\mathbf{v}_2$ prostoru realizací náhodného vektoru $\mathbf{v}$ jejichž směry jsem zvolil shodně se standardní bází a dále bázové vektory $\mathbf{s}_1$, $\mathbf{s}_2$ prostoru realizací náhodného vektoru $\mathbf{s}$ jež jsou oproti $\mathbf{v}_1$, $\mathbf{v}_2$ pouze otočené. Zavedu směrový vektor $\mathbf{w}$, $\Vert\mathbf{w}\Vert = 1$. V dourozměrném případě je dán jediným parametrem - úhlem $\mathbf{w}^T = [\cos \alpha, \sin \alpha]$. Vše budu vyjadřovat vzhledem k bázi $\mathbf{s}_1,\mathbf{s}_2$, jak je naznačeno na obrázku ($\alpha$ budu měřit od $\mathbf{s}_1$), neb je to přehlednější (nezávislé směry pak vychází v úhlech 0, $\pi/2$). Nyní spočtu kolmý průmět $\mathbf{s}$ do $\mathbf{w}$, a určím jeho $k$-tý kumulant (použiji přitom vlastnosti z tabulky 11.2)

$$c_k(\mathbf{w}^T\mathbf{s}) = c_k( s_1 \cos \alpha + s_2 \sin \al... ... c_k( s_2 \sin \alpha ) = c_k( s_1 ) \cos^k \alpha + c_k( s_2 ) \sin^k \alpha .$$ (11.21)

Průběh funkcí $\cos^k \alpha$ , $\sin^k \alpha$ na $\alpha$ pro sudé $k$ je znázorněn na Obr. 11.2.

Figure 11.2: Pro $k=1$ (žlutá), $k=2$ (červená), $k=4$ (modrá), $k=100$ (zelená) (zleva doprava): průběh funkcí $\cos^k \alpha$ , $\sin^k \alpha$ na $\alpha$, průběh součtu $\cos^k \alpha + \sin^k \alpha$ na $\alpha$ (pro $c_k( s_1 ) = c_k( s_2 )$ průběh $c_k$ na $\alpha$, až na měřítko), průběh součtu $\cos^k \alpha + \sin^k \alpha$ na $\alpha$ v polárních souřadnicích, průběh mocniny $x^k$ na $x \in <0,1>$

Vidíte, že s rostoucí mocninou jsou maxima průběhů stále výraznější. Je to dáno průběhem mocniny na intervalu $<0,1>$. Graf mocniny vždy prochází body $[0,0]$ a $[1,1]$ a s rostoucím $k$ se stále více na intervalu $<0,1)$ přimyká k 0. Polohy maxim jsou shodné s nezávislými směry $\alpha=0$, $\alpha=\pi/2$, atd.. Pro případ $k=2$ můžeme ještě obdržet konstantní průběh kumulantu na směru $\alpha$ (kružnici v polárních souřadnicích), jsou-li kumulanty $c_2( s_1 )$ a $c_2( s_2 )$ shodné ( $\cos^2 \alpha + \sin^2 \alpha = 1$), ale pro vyšší $k$ jsou již extrémy v nezávislých směrech jasně patrné viz. Obr. 11.2 průběh součtu ( $\cos^k \alpha + \sin^k \alpha$ - až na měřítko průběh pro shodné kumulanty) na $\alpha$.

11.1.1 Fast ICA

Úkolem této části je uvedení jednoho algoritmu, který dokáže nalézt směr maximalizující 4. kumulant (špičatost). Nechť $z$ je náhodná proměná s nulovou střední hodnotou $m_1(z) = 0$ (vždy můžeme dosáhnout centrováním) její špičatost můžeme vyjádříme z (11.20) pomocí momentů

$$c_4(z) = m_4(z) - 3 m_2^2(z) = \mathrm{E}[z^4] - 3 \mathrm{E}^2[z^2] .$$ (11.22)

Naším úkolem je najít směr $\mathbf{w}$, $\Vert\mathbf{w}\Vert = 1$, pro který je $c_4(\mathbf{w}^T \mathbf{v})$ (špičatost kolmého průmětu $\mathbf{v}$ do onoho směru) extremální. Vidíme, že možná řešení $\mathbf{w}$ jsou omezeny podmínkou $\Vert\mathbf{w}\Vert = 1$. Jedná se tedy o hledání vázaného extrému. Pro řešení úlohy použijeme metodu Lagrangeových multiplikátorů. K účelové funkci tedy přidáme násobek vazební podmínky v implicitním tvaru $F(\Vert\mathbf{w}\Vert^2)$ ( $F(\Vert\mathbf{w}\Vert^2)$ může být například $\lambda(\Vert\mathbf{w}\Vert^2 - 1)$, $\lambda$ se nazývá Lagrangeův součinitel)

$$J = c_4(\mathbf{w}^T \mathbf{v}) + F(\Vert\mathbf{w}\Vert^2) = \m... ...})^4] - 3 \mathrm{E}^2[(\mathbf{w}^T \mathbf{v})^2] + F(\Vert\mathbf{w}\Vert^2)$$ (11.23)

Nyní vypočteme gradient $\nabla_{\mathbf{w}}J$. Výpočet provedu pro jednotlivé výrazy v (11.23) zvlášť, bude to přehlednější

$$\frac{\partial \mathrm{E}[(\mathbf{w}^T \mathbf{v})^4]}{\partial ... ... \partial \mathbf{w}}] = 4 \mathrm{E}[(\mathbf{w}^T \mathbf{v})^3 \mathbf{v} ],$$ (11.24)

Před výpočtem gradientu druhého výrazu ho nejprve trochu zjednodušímme použitím (11.4)

$$\mathrm{E}[(\mathbf{w}^T \mathbf{v})^2] = \mathrm{E}[(\mathbf{w}^... ...^T \mathbf{R}_{vv} \mathbf{w} = \mathbf{w}^T\mathbf{w} = \Vert\mathbf{w}\Vert^2$$ (11.25)

a spočteme gradient z $\Vert\mathbf{w}\Vert^2$

$$\frac{\partial \Vert\mathbf{w}\Vert^2}{\partial \mathbf{w}} = \fr... ...} = \frac{\partial \sum_{k=1}^{K} w_k^2 }{\partial \mathbf{w}} = 2 \mathbf{w} .$$ (11.26)

Teď již uvedu gradient 2. výrazu (násobení $-3$ přidám nakonec)

$$\frac{\partial \mathrm{E}^2[(\mathbf{w}^T \mathbf{v})^2]}{\partia... ...} = 2 \Vert\mathbf{w}\Vert^2 2 \mathbf{w} = 4 \Vert\mathbf{w}\Vert^2 \mathbf{w}$$ (11.27)

Nakonec poslední 3. výraz

$$\frac{\partial F(\Vert\mathbf{w}\Vert^2)}{\partial \mathbf{w}} = ... ...athbf{w}\Vert^2}{\partial \mathbf{w}} = f(\Vert\mathbf{w}\Vert^2) 2 \mathbf{w},$$ (11.28)

kde jsem označil $f(\Vert\mathbf{w}\Vert^2) = \frac{\partial F(\Vert\mathbf{w}\Vert^2)}{\partial (\Vert\mathbf{w}\Vert^2)}$. Sečtením všech tří výrazů (11.24), (11.27) a (11.28) obdržíme gradient $\nabla_{\mathbf{w}}J$. Položíme ho rovný $\mathbf{o}$ (hledáme extém)

$$\nabla_{\mathbf{w}}J = 4 \mathrm{E}[(\mathbf{w}^T \mathbf{v})^3 \... ...bf{w}\Vert^2 \mathbf{w} + 2 f(\Vert\mathbf{w}\Vert^2) \mathbf{w} = \mathbf{o} .$$ (11.29)

Z tého rovnice asi $\mathbf{w}$ jednoduše nevyjádříme. Vyjádříme tedy alespoň člen $f(\Vert\mathbf{w}\Vert^2) \mathbf{w}$ a postavíme rekurzi pro $\mathbf{w}$

$$\mathbf{w}[k+1] = - \frac{2}{f(\Vert\mathbf{w}[k]\Vert^2)} \times... ...k]^T\mathbf{v})^3\mathbf{v}] - 3 \Vert\mathbf{w}[k]\Vert^2 \mathbf{w} \right) .$$ (11.30)

V uvedené rekurzi zatím neumíme vyjádřit pouze skalár před $\times$. Jelikož ale hledáme řešení pouze s velikostí 1, není ho potřeba vyjadřovat, budeme prostě normovat v každém kroku. Je zřejmé (z toho jak jsme rekurzi postavili), že hledaná řešení jsou pevnými body rekurze (je-li $\mathbf{w}[k]$ řešení vyjde $\mathbf{w}[k+1]$ shodné - po normování na velikost 1). Dá se dokázat že zvolíme-li libovolné $\mathbf{w}[0]$, posloupnost $\{\mathbf{w}[k]\}_{k=0}^{\infty}$ konverguje k těmto pevným bodům, tedy k hledaným řešením. Uvedená rekurze konverguje velice rychle obvykle stačí 10 iterací.

Nyní celý postup shrnu

Table 11.3: Fast ICA algoritmus

Podmínka v kroku 4. se dá přeložit takto: liší-li se $\mathbf{w}^T[k+1]$ od $\mathbf{w}$ již velmi málo ukonči rekurzi. Skalární součin v podmínce má (vzhledem normování obou vektorů) význam kosinu úhlu mezi vektory. Jsou-li oba směry shodné vychází úhel 0 a absolutní hodnota je tedy 0.

Cvičení 11.0: Cílem bude dokončit separaci pro úlohy A2,C2 s neortogonální regulární mixážní maticí z minulého cvičení 10.0.1. Impementujte Fast ICA algoritmus viz. tabulka 11.3 k nalezení jednoho z nezávislých směrů $\mathbf{w}^T =[ w_1, w_2 ]$. Protože víte, že nezávislé směry jsou na sebe kolmé jednoduše určíte zbývající nezávislý směr (prohodíte složky a u jedné obrátíte znaménko). Sestavíte z nich hledanou matici $\mathbf{W}$

$$\mathbf{W}^T = \left[ \begin{array}{cc} w_1 & -w_2 \\ w_2 & w_1 \\ \end{array} \right] .$$ (11.31)

Určete realizace náhodného vektoru $\mathbf{z} = \mathbf{W} \mathbf{v}$. Mělo by dojít k obnovení původních nezávislých složek vektoru $\mathbf{s}$.

Vypište (vyneste) si hledaný směr na iteraci a chybu na iteraci. Vyneste si graf realizací náhodného vektoru $\mathbf{z}$ i s transformovanou bazí (puvodní standardní baze $\mathbf{s}$) by se měla transformovat opět na standardní bázi $\mathbf{z}$. Vyneste si průbeh separovaných složek na realizaci (vzorku). V případě řečových signálů si poslechněte výsledek.

Uvádím zde implementaci rekurze v Matlabu (vstupem je vybělené $\mathbf{v}$, $N$ značí počet vzorků původních nahodných procesů, nebo počet realizací náhodných vektorů po zjednodušení):

ITER = 10;         % pocitam pevny pocet iteraci (bez podminky)
w = zeros(2,ITER); % smer na iteraci
e = zeros(1,ITER); % chyba na iteraci
w(:,1) = [1;0];    % pocatecni podminka

for n = 2:ITER
  w(:,n) = -(sum(v.*(ones(2,1)*(w(:,n-1)'*v).^3 ),2)/N - 3*w(:,n-1));
  w(:,n) = w(:,n)/sqrt(w(:,n)'*w(:,n)); % normovani 
  e(n) = w(:,n)'*w(:,n-1) - 1;          % chyba
end;

w % vypis smeru
e % vypis chyby (mela by jit k 0)

Výsledky pro A2:

Figure: Úloha A2 harmonický signál a realizace bílého stacionárního procesu s rovnoměrně rozloženými vzorky, regulární-neortogonální mixážní matice: (zleva doprava) graf realizací náhodného vektoru $\mathbf{s}$ (zelene) a nezávislé směry (standardní báze - modře), graf realizací náhodného vektoru $\mathbf{x}=\mathbf{M}\mathbf{s}$ a nezávislé směry (modře) a variance na směru s vlastními směry (červeně), graf realizací náhodného vektoru $\mathbf{v}=\mathbf{D}^{-\frac{1}{2}}\mathbf{V}^T\mathbf{x}$ a nezávislé směry (modře) dale variance (červeně) a špičatost (fialová) na směru, graf realizací náhodného vektoru $\mathbf{z}=\mathbf{W}\mathbf{D}^{-\frac{1}{2}}\mathbf{V}^T\mathbf{x}$ a nezávislé směry (modře) dále variance (červeně) a špičatost (fialová) na směru

Figure: Úloha A2 harmonický signál a realizace bílého stacionárního procesu s rovnoměrně rozloženými vzorky, regulární-neortogonální mixážní matice: časové průběhy po aplikaci $\mathbf{W}\mathbf{D}^{-\frac{1}{2}}\mathbf{V}^T$ ( $\mathbf{z}[n]$)

Výsledky pro C2:

Figure: Úloha C2 řečové signály, regulární-neortogonální mixážní matice: (zleva doprava) graf realizací náhodného vektoru $\mathbf{s}$ (zelene) a nezávislé směry (standardní báze - modře), graf realizací náhodného vektoru $\mathbf{x}=\mathbf{M}\mathbf{s}$ a nezávislé směry (modře) a variance na směru s vlastními směry (červeně), graf realizací náhodného vektoru $\mathbf{v}=\mathbf{D}^{-\frac{1}{2}}\mathbf{V}^T\mathbf{x}$ a nezávislé směry (modře) dale variance (červeně) a špičatost (fialová) na směru, graf realizací náhodného vektoru $\mathbf{z}=\mathbf{W}\mathbf{D}^{-\frac{1}{2}}\mathbf{V}^T\mathbf{x}$ a nezávislé směry (modře) dále variance (červeně) a špičatost (fialová) na směru

Figure: Úloha C2 řečové signály, regulární-neortogonální mixážní matice: časové průběhy po aplikaci $\mathbf{W}\mathbf{D}^{-\frac{1}{2}}\mathbf{V}^T$ ( $\mathbf{z}[n]$)