10. Cvičení 10: Separace nezávislých náhodných procesů - pouze s použitím statistik 2. řádů

10.0.0.0.1 Úkol separace:

Mějme nezávislé náhodné procesy $s_1[n],\ldots,s_K[n]$, $n=0,\ldots,N-1$ (k dispozici máme pouze segment délky $N$) s nulovou střední hodnotou a nenulovou variancí^10.1.

Uspořádejme procesy do vektorů

$$\mathbf{s}^T[n] = [ s_1[n], \ldots, s_K[n] ], \;\;\;\; n=0,\ldots,N-1 .$$ (10.1)

K dispozici máme pouze náhodné procesy (většinou pouze jednu realizaci) $x_1[n],\ldots,x_K[n]$, $n=1,\ldots,N-1$, které mají význam směsí původních nezávislých procesů. Přesněji

$$\mathbf{x}[n] = \mathbf{M}\mathbf{s}[n], \;\;\;\; n=0,\ldots,N-1 ,$$ (10.2)

kde $\mathbf{x}^T[n] = [ x_1[n], \ldots, x_K[n] ]$, $n=0,\ldots,N-1$. Matice $\mathbf{M}$ se nazývá mixážní matice. Budeme připouštět pouze regulární $\mathbf{M}$. Naším úkolem je z $\mathbf{x}[n]$, $n=0,\ldots,N-1$ získat původní nezávislé procesy $\mathbf{s}[n]$, $n=0,\ldots,N-1$.

Tedy najít něco jako inverzi k $\mathbf{M}$ ( $\mathbf{M}^{-1}\mathbf{x}[n] = \mathbf{M}^{-1}\mathbf{M}\mathbf{s}[n] = \mathbf{s}[n]$) Protože máme k dispozici pouze nezávislost složek $\mathbf{s}[n]$ nelze doufat v obnovení pořadí a měřítek jednotlivých složek jako u inverze ^10.2.

Definice 10.1   Budeme tedy hledat matici $\mathbf{S}$ (nazveme ji separační matici k $\mathbf{M}$) takovou, aby součin $\mathbf{S}\mathbf{M}$ ( $\mathbf{S}\mathbf{x}[n] = \mathbf{S}\mathbf{M}\mathbf{s}[n]$) měl následující vlastnosti: Součin $\mathbf{S}\mathbf{M}$ obsahuje v každém řádku a sloupci právě jeden nenulový prvek ^10.3.

Jinými slovy vektor $\mathbf{S}\mathbf{M}\mathbf{s}[n]$ se od původního $\mathbf{s}[n]$ liší pouze pořadím a měřítky složek.

10.0.0.0.2 Zjednodušení:

Vektory náhodných procesů zde nebudu již značit $\mathbf{x}[n]$, $n=0,\ldots,N-1$, ale zavedu značení $\mathcal{X}_N = \{\mathbf{x}[n]\}_{n=0}^{N-1}$, podobně pro $\mathcal{S}_N$, abych lépe rozlišil vektor náhodných procesů $\mathcal{X}_N$ od jeho hodnoty v čase $n$, kterou budu značit i nadále $\mathbf{x}[n]$ (náhodný vektor).

Nyní si úkol trochu zjednoduššíme, od vektorů (délky $K$) náhodných procesů $\mathcal{S}_N$, $\mathcal{X}_N$ přejdeme k náhodným vektorům $\mathbf{s}$, $\mathbf{x}$ (délky $K$). Náhodné vektory $\mathbf{s}$, $\mathbf{x}$ dodefinujeme tak, abychom realizaci $\mathcal{X}_N$ mohli chápat jako $N$ realizací $\mathbf{x}$, a aby nezávislost složek $\mathcal{S}_N$ přešla na nezávislost složek $\mathbf{s}$. Bude to vyžadovat další omezení na $\mathcal{S}_N$ a příjdeme tím o část informace, kterou bychom mohli použít, ale věc se tím podstatně zjednodušší:

• Uvažujeme pouze náhodné vektory délky $K$.
• Máme k dispozici $N$ realizací $\mathbf{x}$ a můžeme tedy jednoduše odhadovat momenty ($N$ předpolkádáme dostatečně velké) jako výběrové průměry $\mathrm{E}[f(\mathbf{x})] = \frac{1}{N}\sum_{n=0}^{N-1} f(\mathbf{x}[n])$.

Jednu možnost jak $\mathbf{s}$ a $\mathbf{x}$ dodefinovat nyní popíšu. Jednu realizaci $\mathbf{s}$ a $\mathbf{x}$ vygeneruji následuji následujícím způsobem. Vygeneruji realizaci $\mathcal{S}_N$, pak vygeneruji časový index $n$ z rovnoměrného rozdělení na $0,\ldots,N-1$. $\mathbf{s}$ zvolím jako hodnotu právě vygenerované realizace $\mathcal{S}_N$ v čase $n$

$$p(\mathbf{s}) = \sum_{n=0}^{N-1} p(n) p(\mathbf{s}\vert n) = \sum_{n=0}^{N-1} \frac{1}{N} p(\mathbf{s}[n]) .$$ (10.3)

Náhodný vektor $\mathbf{x}$ pak obdržím

$$\mathbf{x} = \mathbf{M} \mathbf{s} .$$ (10.4)

Uvedená konstrukce za jistých předpokladů ergodicity skutečně splňuje požadované podmínky (realizaci $\mathcal{X}_N$ můžeme chápat jako $N$ realizací $\mathbf{x}$).

Postup je pak takový se od složek $\mathbf{x}$ snažíme přejít k původním složkám $\mathbf{s}$, za předpokladu jejich nezávislosti a tak odhadnout separační matici $\mathbf{S}$ k mixážní matici $\mathbf{M}$. Je-li $\mathbf{S}$ skutečně separační k $\mathbf{M}$ ^10.4nic nám již nebrání jí použít na procesy $\mathcal{X}_N$ a získat tak původní procesy $\mathcal{S}_N$.

K tomu je ale nutné vědět, zda nezávislost $\mathcal{S}_N$ vede na nezávislost $\mathbf{s}$ (je-li možné nezávislost $\mathbf{s}$ při separaci z $\mathbf{x}$ použít). Zmíněnou implikaci lze pro uvedenou konstrukci $\mathbf{s}$ skutečně dokázat pro stacionární $\mathcal{S}_N$ a za jistých dodatečných přijatelných předpokladů i pro $\mathcal{S}_N$ nestacionární.

10.0.1 Separace pomocí 2. řádů

Nyní se podívejme na situaci z hlediska statistik 2. řádů (korelačních matic). Z předpokladu nezávislosti složek $\mathbf{s}^T = [s_1,\ldots,s_K]$ plyne jejich nekorelovanost tedy korelační matice náhodného vektoru $\mathbf{s}$

$$\mathbf{R}_{ss} = \mathrm{E}[\mathbf{s}\mathbf{s}^T] = \mathrm{diag}([ \mathrm{E}[s_1^2], \ldots, \mathrm{E}[s_K^2] ])$$ (10.5)

je diagonální. S použitím (10.5) a (10.4) jednoduše určíme korelační matici náhodného vektoru $\mathbf{x}$

$$\mathbf{R}_{xx} = \mathrm{E}[\mathbf{x}\mathbf{x}^T] = \mathrm{E}... ...M}\mathbf{s}\mathbf{s}^T\mathbf{M}^T] = \mathbf{M}\mathbf{R}_{ss}\mathbf{M}^T .$$ (10.6)

10.0.1.1 Podobnost s vlastním rozkladem, ortogonální mixážní matice

Chceme-li obnovit nezávislost musíme složky $\mathbf{x}$ určitě dekorelovat (z nezávislosti plyne nekorelovanost). Problém je že dekorelací obecně nezávislost nezajistíme (opačná implikace neplatí). Těžko tedy můžeme doufat, že pouze s pomocí statistik 2. řádů dosáhneme separace pro jakouko-li regulární $\mathbf{M}$.

Úlohu si tedy trochu zjednoduššíme a omezíme se (alespoň v této části) pouze na ortogonální mixážní matici $\mathbf{M}^T = \mathbf{M}$ a dálé budeme předpokládat, že $\mathbf{R}_{xx}$ nemá násobná vlastní čísla.

Z ortogonality $\mathbf{M}$ a diagonality $\mathbf{R}_{ss}$ použitím lematu 7.5 plyne, že (10.6) je vlastním rozkladem $\mathbf{R}_{xx}$. Vypočtu tedy vlastní rozklad $\mathbf{R}_{xx}$ - určím ortogonální matici $\mathbf{V}$ a diagonální matici $\mathbf{D}$ tak, aby

$$\mathbf{R}_{xx} = \mathbf{V}\mathbf{D}\mathbf{V}^T .$$ (10.7)

Budou-li se vlastní rozklady $\mathbf{R}_{xx}$ lišit pouze málo ( $\mathbf{M}$ a $\mathbf{V}$ budou hodně podobné) mohl bych se pokusit určit separační matici jako $\mathbf{V}^{-1} = \mathbf{V}^T$.

Sestrojíme tedy součin $\mathbf{V}^T\mathbf{M}$ a ověřme zda je $\mathbf{V}^T$ skutečně separační k $\mathbf{M}$. Jelikož připouštíme pouze různá vlastní čísla $\mathbf{R}_{xx}$ (všechny mají násobnost právě jedna) přísluší podle lemmatu 7.4 každému vlastnímu číslu $\lambda_i$ právě jeden lineárně nezávislý vlastní vektor $\mathbf{v}_i$. Jelikož jsme se omezili pouze na $\Vert\mathbf{v}_i\Vert = 1$, je $\mathbf{v}_i$ příslušný $\lambda_i$ určen jednoznačně až na znaménko $\Vert-\mathbf{v}_i\Vert = 1$. Oba rozklady $\mathbf{R}_{xx} = \mathbf{M}\mathbf{R}_{ss}\mathbf{M}^T = \mathbf{V}\mathbf{D}\mathbf{V}^T$ se tedy mohou lišit pouze pořadím (permutací) vlastních čísel (na diagonálách $\mathbf{R}_{ss}$ a $\mathbf{D}$) a vlastních vektorů (v maticích $\mathbf{M}$ a $\mathbf{V}$). Vlastní vektory se navíc mohou lišit znaménkem. Označme sloupcové vektory $\mathbf{V} = [\mathbf{v}_1,\ldots,\mathbf{v}_K]$. Z ortogonality $\mathbf{V}$ pro skalární součiny $\mathbf{v}_i^T\mathbf{v}_j$ plyne $\mathbf{v}_i^T\mathbf{v}_j = 0$ pro $i \neq j$ a $\mathbf{v}_i^T\mathbf{v}_i = 1$. Označme sloupce $\mathbf{M} = [\mathbf{m}_1,\ldots,\mathbf{m}_K]$. Z uvedeného plyne, že se jedná pouze o permutované vektory $\mathbf{v}_1,\ldots,\mathbf{v}_K$ s případnou změnou znaménka. Skalární součiny $\mathbf{v}_i^T\mathbf{m}_j$, z nichž se skládá zkoumaný součin $\mathbf{V}^T\mathbf{M}$, mají pouze následující hodnoty $\mathbf{v}_i^T\mathbf{m}_j = 0$ (pro $\mathbf{m}_j \neq \mathbf{v}_i$, $\mathbf{m}_j \neq -\mathbf{v}_i$) $\mathbf{v}_i^T\mathbf{m}_j = 1$ (pro $\mathbf{m}_j = \mathbf{v}_i$) nebo $\mathbf{v}_i^T\mathbf{m}_j = -1$ (pro $\mathbf{m}_j = -\mathbf{v}_i$). Jelikož kopie $\mathbf{v}_i$ (včetně případné změny znaménka) se v $\mathbf{M}$ vyskytuje právě jednou, je v každém řádku $\mathbf{V}^T\mathbf{M}$ právě jeden nenulový prvek ($1$ nebo $-1$). V každém sloupci rovněž (v uvedené úvaze obratíme úlohu $\mathbf{M}$ a $\mathbf{V}$). Matice $\mathbf{V}^T$ je tedy podle definice 10.1 separační k $\mathbf{M}$ a

$$\mathbf{v} = \mathbf{V}^T\mathbf{x} = \mathbf{V}^T\mathbf{M}\mathbf{s}$$ (10.8)

se tedy od $\mathbf{s}$ liší pouze permutací případně znaménkem jednotlivých složek. Povšiněte si, že korelační matice náhodného vektoru $\mathbf{v}$

$$\mathbf{R}_{vv} = \mathrm{E}[\mathbf{v}\mathbf{v}^T] = \mathbf{V}... ...athbf{V} = \mathbf{V}^T\mathbf{V}\mathbf{D} \mathbf{V}^T\mathbf{V} = \mathbf{D}$$ (10.9)

je diagonální, což znamená, že složky $\mathbf{v}$ jsou dekorelovány. To musí být samozřejmě pravda, neboť složky $\mathbf{v}$ jsou nezávislé ( $\mathbf{V}^T$ je separační).

10.0.1.1.1 Mixážní matice s ortogonálními sloupci

K separaci použitím $\mathbf{V}^T$ dojde i pro trochu obecnější $\mathbf{M}$. Nechť $\mathbf{M}$ má tvar

$$\mathbf{M} = \mathbf{M}_1\mathbf{M}_2 ,$$ (10.10)

kde $\mathbf{M}_1$ je ortogonální a $\mathbf{M}_2$ je diagonální (pouze nenulové prvky na diagonále - připouštíme pouze regulární $\mathbf{M}$). Aby $\mathbf{V}^T$ byla separační k $\mathbf{M}$. Musíme ukázat, že součin $\mathbf{V}^T\mathbf{M} = \mathbf{V}^T\mathbf{M}_1\mathbf{M}_2$ má opět požadované vlastnosti. Pro součin $\mathbf{V}^T\mathbf{M}_1$ jsme to již ukázali ( $\mathbf{M}_1$ je ortogonální). Požadovaná vlastnost součinu (v každém řádku a sloupci je právě jeden neulový prvek) zůstává zachována i po přenásobení diagonální maticí $\mathbf{M}_2$ (mění se pouze měřítka sloupcových vektorů - nulové prvky zůstávají nulové a nenulové zůstávají nenulové). Oproti případu ortogonání $\mathbf{M}$, kde nenulové prvky součinu byly omezeny na $-1$ a $1$ (separovaný vektor $\mathbf{v}$ se od původního $\mathbf{s}$ liší pouze permutací případně změnou znaménka složek), se nyní může změnit i měřítko složek (nenulové prvky jsou libovolná reálná čísla různá od 0).

Jelikož těžko můžeme doufat v obnovení měřítek ( $\mathbf{M}_2$ je neznámá) normují se většinou rozptyly výsledku na $1$. To lze zařídit přenásobením $\mathbf{D}^{-\frac{1}{2}}$ (diagonální matice, která má na diagonále odmocniny převrácených hodnot diagonálních prvků $\mathbf{D}$ viz. (10.7), tedy $\mathbf{D}^{-\frac{1}{2}} \mathbf{D} \mathbf{D}^{-\frac{1}{2}} = \mathbf{E}$)

$$\mathbf{u} = \mathbf{D}^{-\frac{1}{2}}\mathbf{v} = \mathbf{D}^{-\frac{1}{2}} \mathbf{V}^T\mathbf{x} ,$$ (10.11)

což jednoduše nahlédneme výpočtem korelační matice náhodného vektoru $\mathbf{u}$

$$\begin{aligned}\mathbf{R}_{uu} &= \mathrm{\mathbf{u}\mathbf{u}^... ...}\mathbf{D}\mathbf{D}^{-\frac{1}{2}} = \mathbf{E} . \end{aligned}$$

10.0.1.2 Regulární mixážní matice

V předešlém textu jsme hledání separační matice založili na podobnosti vyjádření $\mathbf{R}_{xx}$ pomocí $\mathbf{R}_{ss}$ a vlastního rozkladu. To nám dovolilo najít případy (tvary $\mathbf{M}$) pro které je $\mathbf{D}^{-\frac{1}{2}} \mathbf{V}^T$ skutečně separační maticí.

Nyní uvažujme obecnou regulární mixážní matici. Máme k dispozici předpoklad nezávislosti složek $\mathbf{s}$. Složky $\mathbf{S}\mathbf{x}$, kde $\mathbf{S}$ označuji separační matici musí být rovněž nezávislé. Z (10.12) vidíme, že volba $\mathbf{D}^{-\frac{1}{2}} \mathbf{V}^T$ vede na dekorelaci složek (nejsou zde potřeba žádé restrikce na tvar $\mathbf{M}$ kromě regularity). To ale ještě neznamená nezávislost složek. Transformace $\mathbf{D}^{-\frac{1}{2}} \mathbf{V}^T$ tedy vždy složky $\mathbf{x}$ dekoreluje, ale jenom někdy (viz. výše diskutované tvary $\mathbf{M}$ (10.10)) je i rozseparuje.

Cvičení 10.0: $\mathbf{s}^T[n] = [ s_1[n], s_2[n] ]$, $n = 1,\ldots,N$ modelujte:

A

$s_1[n]$ modelujte jako harmonický signál s frekvencí $0.05\pi$ a efektivní hodnotou 1. $s_2[n]$ modelujte jako realizaci bílého stacionárního procesu s rovnoměrně rozloženými vzorky na $<-1,1>$. Délku obou signálů volte $N=1000$.

B

$s_1[n]$ modelujte jako realizaci bílého stacionárního gausovského procesu s nulovou střední hodnotou a variancí $2^2$. $s_2[n]$ modelujte jako realizaci bílého stacionárního gausovského procesu s nulovou střední hodnotou a variancí 1. Délku obou signálů volte $N=1000$.

C

$s_1[n]$ volte jako tento řečový signál, $s_2[n]$ volte jako tento řečový signál. Délku obou signálů volte $N = 6000$.

Vždy upravte střední hodnotu na signálů na 0. Mixážní matici volte

1

ortogonální:

$$\mathbf{M} = \left[\begin{array}{cc} \cos\alpha & -\sin\alpha \\ \sin\alpha & \cos\alpha \end{array}\right], \;\;\;\; \alpha=\frac{\pi}{3} ,$$

2

regulární neortogonální

$$\mathbf{M} = \left[\begin{array}{cc} 1 & -2 \\ 1 & -0.3 \end{array}\right] .$$

Vytvořte směs $\mathbf{x}[n]$, viz. (10.2).

Určete korelační matici $\mathbf{R}_{xx} = \mathrm{E}[\mathbf{x}\mathbf{x}^T]$ vektoru $\mathbf{x}$ (jak bylo popsáno vzorky $\mathbf{x}[n]$ pro jednotlivé časy považujete za realizace náhodného vektoru $\mathbf{x}$). Vypočtěte ortogonální matici $\mathbf{V}$ a diagonální matici $\mathbf{D}$ vlastního rozkladu matice $\mathbf{R}_{xx} = \mathbf{V}\mathbf{D}\mathbf{V}^T$. K tomu lze použít volání [V,D] = eig(Rxx).

Vypočtěte $N$ realizací $\mathbf{u}$

$$\mathbf{u} = \mathbf{V}^T \mathbf{x}.$$

a $N$ realizací $\mathbf{v}$

$$\mathbf{v} = \mathbf{D}^{-\frac{1}{2}}\mathbf{v}.$$

Pro všechny případy A1, A2, B1, B2, C1, C2 vyneste realizace náhodných vektorů $\mathbf{s}$, $\mathbf{x}$, $\mathbf{u}$, $\mathbf{v}$. Do grafu pro $\mathbf{s}$ si vyneste standardní bázi a vyneste si také jak transformuje. Do grafů si rovněž vyneste závislost variance na směru. Vyneste si výsledné průběhy $\mathbf{v}[n]$.

Uvádím skript pro vynesení realizací náhodného vektoru $\mathbf{s}$ , standardní báze, a variance na směru pro náhodný vektor $\mathbf{s}$:

figure(1)
subplot(2,2,1)
plot(s(1,:),s(2,:),'g.'); % realizace
hold on
Bs = diag([1;1]); % standardni baze
plot([ 0 Bs(1,1) ],[ 0 Bs(2,1) ] ,'b-');
plot([ 0 Bs(1,2) ],[ 0 Bs(2,2) ] ,'b-');

% variance na smeru
wN = 50
w = [cos(linspace(0,2*pi,wN));sin(linspace(0,2*pi,wN))]; % smerove vektory
var  = zeros(1,wN);
for n = 1:wN;
  p = w(:,n)'*s;
  m1 = sum(p)/N;
  m2 = sum(p.^2)/N;
  var(n) = m2 - m1^2;
end;
plot( var.*w(1,:), var.*w(2,:),'r-');

title("s");
xlabel("s_1");
ylabel("s_2");
axis('equal')
hold off

10.0.1.2.1 Výsledky pro A1:

Figure: Úloha A1 harmonicý signál a realizace bílého stacionárního procesu s rovnoměrně rozloženými vzorky, ortogonální mixážní matice: (zleva doprava) graf realizací náhodného vektoru $\mathbf{s}$ (zelene) a nezávislé směry (standardní báze - modře), graf realizací náhodného vektoru $\mathbf{x}=\mathbf{M}\mathbf{s}$ a nezávislé směry (modře) a variance na směru s vlastními směry (červeně), graf realizací náhodného vektoru $\mathbf{u}=\mathbf{V}^T\mathbf{x}$ a nezávislé směry (modře) a variance na směru (červeně), graf realizací náhodného vektoru $\mathbf{v}=\mathbf{D}^{-\frac{1}{2}}\mathbf{V}^T\mathbf{x}$ a nezávislé směry (modře) dale variance (červeně) a špičatost (fialová) na směru.

Figure: Úloha A1 harmonicý signál a realizace bílého stacionárního procesu s rovnoměrně rozloženými vzorky, ortogonální mixážní matice: časové průběhy po aplikaci $\mathbf{D}^{-\frac{1}{2}} \mathbf{V}^T$, vidíme, že došlo k separaci.

10.0.1.2.2 Výsledky pro A2:

Figure: Úloha A2 harmonicý signál a realizace bílého stacionárního procesu s rovnoměrně rozloženými vzorky, regulární-neortogonální mixážní matice: (zleva doprava) graf realizací náhodného vektoru $\mathbf{s}$ (zelene) a nezávislé směry (standardní báze - modře), graf realizací náhodného vektoru $\mathbf{x}=\mathbf{M}\mathbf{s}$ a nezávislé směry (modře) a variance na směru s vlastními směry (červeně), graf realizací náhodného vektoru $\mathbf{u}=\mathbf{V}^T\mathbf{x}$ a nezávislé směry (modře) a variance na směru (červeně), graf realizací náhodného vektoru $\mathbf{v}=\mathbf{D}^{-\frac{1}{2}}\mathbf{V}^T\mathbf{x}$ a nezávislé směry (modře) dale variance (červeně) a špičatost (fialová) na směru.

Figure: Úloha A2 harmonicý signál a realizace bílého stacionárního procesu s rovnoměrně rozloženými vzorky, regulární-neortogonální mixážní matice: časové průběhy po aplikaci $\mathbf{D}^{-\frac{1}{2}} \mathbf{V}^T$ ( $\mathbf{v}[n]$), vidíme, že k separaci nedošlo.

10.0.1.2.3 Výsledky pro B2:

Figure: Úloha B2 realizace bílých stacionárních gausovských procesů, regulární-neortogonální mixážní matice: (zleva doprava) graf realizací náhodného vektoru $\mathbf{s}$ (zelene) a nezávislé směry (standardní báze - modře), graf realizací náhodného vektoru $\mathbf{x}=\mathbf{M}\mathbf{s}$ a nezávislé směry (modře) a variance na směru s vlastními směry (červene), graf realizací náhodného vektoru $\mathbf{u}=\mathbf{V}^T\mathbf{x}$ a nezávislé směry (modře) a variance na směru (červene), graf realizací náhodného vektoru $\mathbf{v}=\mathbf{D}^{-\frac{1}{2}}\mathbf{V}^T\mathbf{x}$ a nezávislé směry (modře) dale variance (červene) a špičatost (fialová) na směru.

10.0.1.2.4 Výsledky pro C2:

Figure: Úloha C2 řečové signály, regulární-neortogonální mixážní matice: (zleva doprava) graf realizací náhodného vektoru $\mathbf{s}$ (zelene) a nezávislé směry (standardní báze - modře), graf realizací náhodného vektoru $\mathbf{x}=\mathbf{M}\mathbf{s}$ a nezávislé směry (modře) a variance na směru s vlastními směry (červene), graf realizací náhodného vektoru $\mathbf{u}=\mathbf{V}^T\mathbf{x}$ a nezávislé směry (modře) a variance na směru (červene), graf realizací náhodného vektoru $\mathbf{v}=\mathbf{D}^{-\frac{1}{2}}\mathbf{V}^T\mathbf{x}$ a nezávislé směry (modře) dale variance (červene) a špičatost (fialová) na směru.

U případu s ortogonální mixážní maticí Obr. 10.1 vidíme, že se již po alikaci $\mathbf{V}^T$ podařilo obnovit původní signály včetně měřítek viz. Obr. 10.2. Pro neortogonální regulární k separaci již nedojde (nezávislé směry neodpovídají standardní bázi $\mathbf{v}$) viz. Obr. 10.3 a Obr. 10.4, Obr. 10.5, Obr. 10.6. Nicméně vidíme, že vždy dojde k vybělení (velikost variance nezávisí na směru - červené kružnice v grafu realicací $\mathbf{v}$). Také je patrné, že k separaci již stačí pouze otočení (nezávislé směry v grafu realicací $\mathbf{v}$ svírají pravý úhel). Všiměte si že úhel tohoto otočení lze vyčíst z průběhu špičatosti na směru, kromě případu gausovských šumů (normální rozdělení má nulovou špičatost). Pouze s použitím nezávislosti zde nelze původní nezávislé směry obnovit, neboť jakékoli dva ortogonální směry jsou zde nezávislé (jedná se o centrálně symetrické normální rozdělení).