7.2 RLS

RLS algoritmus můžeme podobně jako LMS rozepsat do několika kroků. Rovnice filtrace (4.1) je dána Obr. 4.1(a) a zůstává bezezměny pouze ve shodě s užívaným značením pro RLS posunu indexování u váhového vektoru

$$\begin{gathered}\hat{d}[n] = \mathbf{w}^T[n-1] \mathbf{x}[n] \\ e[n] = d[n] - \hat{d}[n] \end{gathered}$$ (7.2)

Rovnice úpravy vah

$$\mathbf{w}[n] = \mathbf{w}[n-1] - \mathbf{P}[n] \nabla_{\mathbf{w}[n-1]} e^2[n] = \mathbf{w}[n-1] + \mathbf{P}[n] \mu e[n] \mathbf{x}[n]$$ (7.3)

se od LMS liší přenásobením záporně vzatého gradientu odhadem inverze $\mathbf{P[n]}$ autokorelační matice vstupního signálu $x[n]$. Přibývá rovněž rovnice pro úpravu tohoto odhadu

$$\mathbf{P}[n] = \frac{1}{\beta} \left( \mathbf{P}[n-1] - \frac{\m... ...mathbf{P}[n-1]} {\beta + \mathbf{x}^T[n]\mathbf{P}[n-1]\mathbf{x}[n]} \right) .$$ (7.4)

Abychom si vše ujasnili, nejprve si situaci trochu zjednoduššíme. Předpokládejme, že známe autokorelační matici $\mathbf{R}_{xx}$ vstupního signálu. Rekurze pro odhad $\mathbf{P[n]}$ tedy odpadá a zbývá rovnice pro úpravu vah

$$\begin{aligned}\mathbf{w}[n] &= \mathbf{w}[n-1] - \mu \mathbf{R... ...hbf{x}[n] (d[n]- \mathbf{x}^T[n] \mathbf{w}[n-1]) . \end{aligned}$$

Zavedl jsem navíc konstantu $\mu$ ovlivňující délku kroku. Uplatněním operátoru střední hodnoty na (7.5) získáme rekurzi pro střední hodnotu váhového vektoru

$$\mathrm{E}[\mathbf{w}[n]] = \mathrm{E}[\mathbf{w}[n-1]] + \mu \ma... ...n]d[n] ] - \mathrm{E}[ \mathbf{x}[n]\mathbf{x}^T[n] \mathbf{w}[n-1] ] \right) .$$ (7.6)

Moment 3. řádu $\mathrm{E}[\mathbf{x}[n]\mathbf{x}^T[n]\mathbf{w}[n-1]]$ ( $\mathbf{w}[n-1]$ je funkcí $\mathbf{x}[n]$) nám postup značně komplikuje. Zvolíme-li ale $\mu$ dostatečně malé bude $\mathbf{w}[n-1]$ záviset na $\mathbf{x}[n]$ pouze minimálně, takže oba náhodné vektory budeme moci považovat za nezávislé (tzv. indepencence assumption). Uvedený moment 3. řádu pak můžeme rozložit na součin dvou momentů a rovnice (7.6) pak přejde na

$$\mathrm{E}[\mathbf{w}[n]] = \mathrm{E}[\mathbf{w}[n-1]] + \mu \ma... ...left( \mathbf{r}_{xd} - \mathbf{R}_{xx} \mathrm{E}[ \mathbf{w}[n-1] ] \right) .$$ (7.7)

kde $\mathbf{R}_{xx} = \mathrm{E}[ \mathbf{x}[n] \mathbf{x}^T[n] ]$ a $\mathbf{r}_{xd} = \mathrm{E}[\mathbf{x}[n]d[n]]$. Odečtením optimální hodnoty vah $\mathbf{w}_{opt} = \mathbf{R}_{xx}^{-1}\mathbf{r}_{xd}$, kterou jste si odvodili pro úlohu predikce (2.9) (znaménko, záměna $\mathbf{r}_{xd}$ a $\mathbf{r}_{xx}$ odpovídají změnám ve strukturě prediktoru Obr. 2.3,Obr. 3.2 a estimátoru Obr. 4.1(a)) od obou stran rovnosti (7.7) a zavedením vektoru

$$\mathbf{v}[n] = \mathrm{E}[\mathbf{w}[n]] - \mathbf{w}_{opt} ,$$ (7.8)

dostáváme rovnici pro úpravu $\mathbf{v}[n]$

$$\begin{aligned}\mathbf{v}[n] &= \mathbf{v}[n-1] + \mu \mathbf{R... ...mu) \mathbf{v}[n-1] \\ &= (1-\mu)^n \mathbf{v}[0] \end{aligned} .$$

Vidíme, že složky $\mathbf{v}[n]$ se s rostoucím časem $n \rightarrow \infty$ blíží k 0. Tedy z (7.8) se střední hodnota váhového vektoru blíží $\mathbf{w}_{opt}$. Z (7.9) dále vidíme, že trajektorie spojující $\mathbf{v}[0]$ a $\mathbf{o}$ resp. $\mathrm{E}[\mathbf{w}[0]]$ a $\mathbf{w}_{opt}$ je úsečka, neboť všechny složky $\mathbf{v}[n]$ se blíží k 0 se stejnou časovou konstantou $(1-\mu)$.

Cvičení 7.2: Buzení $x[n]$ modelujte jako barevné viz. cvičení 7.1, a rozptyl aditivního šumu volte $\sigma _u^2 = 0.3^2$. Implementujte RLS algoritmus s tím, že předpokládáme známou autokorelační matici $\mathbf{R}_{xx}$ viz. (7.2) a (7.5). Parametr $\mu$ volte 1 (bez tlumení), 0.1, 0.01. Porovnejte průběhy vah na čase a trajektore střední hodnoty váhového vektoru ve váhovém prostoru.

Výsledky:

Figure: RLS - známá $\mathbf{R}_{xx}$: Porovnání průběhů vah a trajektorí váhového vektoru ve váhovém prostoru pro RLS ($\mu =1$) a RLS ($\mu =0.02$)

7.2.1 Význam $\mathbf{P}$

Nyní se trochu pokusím objasnit přesný význam $\mathbf{P}$ v rovnici pro úpravu vah RLS algoritmu. Víme, že má vztah k autokorelační matici $\mathbf{R}_{xx} = \mathrm{E}[ \mathbf{x}[n] \mathbf{x}^T[n] ]$ vstupního signálu. Pro odhad střední hodnoty lze použít integrátoru

$$\mathbf{R}[n] = \beta \mathbf{R}[n-1] + \mathbf{x}[n]\mathbf{x}^T[n] .$$ (7.10)

Uvedený integrátor je však nenormovaný (u $\mathbf{x}[n]\mathbf{x}^T[n]$ chybí $(1-\beta)$) odhad (7.10) trpí zesílením $1/(1-\beta)$. Platí tedy

$$\mathbf{R}_{xx}[n] = (1-\beta)\mathbf{R}[n] .$$ (7.11)

Z rovnice (7.10) lze obržet rekurzi pro $\mathbf{R}^{-1}$. Ovození jsem umístil do 7.7 vyžaduje opět znalost některých vlatsností vlastního rozkladu symetrických matic, viz. 7.5.

$$\begin{gathered}\mathbf{P}[n] = \frac{1}{\beta} \left( \mathb... ... \right) ,\\ \mathbf{P}[n] = \mathbf{R}^{-1}[n] ,\end{gathered}$$ (7.12)

kde jsem zavedl označení $\mathbf{P} = \mathbf{R}^{-1}$. To je již původní rekurze (7.4). Použitím (7.11) získáme vztah mezi $\mathbf{R}_{xx}[n]$ a $\mathbf{P}[n]$

$$\mathbf{P}[n] = \mathbf{R}^{-1}[n] = (1-\beta)\mathbf{R}_{xx}^{-1}[n] .$$ (7.13)

Vidíme, že $\mathbf{P}[n]$ není přímo $\mathbf{R}_{xx}^{-1}[n]$, ale liší se přidaným tlumením $(1-\beta)$ (v (7.5) označeno jako $\mu$).

Cvičení 7.3: Porovnejte průběhy vah na čase, trajektorie váhováho vektoru ve váhovém prostoru pro LMS ( $\mathcal{M}=0.1$) a RLS ( $\beta =0.95$) pro barevné buzení viz. cvičení 7.1.

Výsledky:

Figure 7.4: Porovnání průběhů vah a trajektorí váhového vektoru ve váhovém prostoru pro RLS ( $\beta =0.95$) a LMS ( $\mathcal{M}=0.1$)

Figure 7.5: Porovnání průběhů MSE pro RLS ( $\beta =0.95$) a LMS ( $\mathcal{M}=0.1$) (všiměte si, že pouze průběh MSE pro LMS se vyznačuje dvěma sklony)