7.6 Konvergence střední hodnoty váhového vektoru v LMS

Rovnice pro úpravu vah v LMS vypadá (identifikace)

$$\begin{aligned}\mathbf{w}[n+1] &= \mathbf{w}[n] + \mu \mathbf{x... ...] - \mathbf{x}[n] \mathbf{x}^T[n] \mathbf{w}[n] ) . \end{aligned}$$

Nyní provedu stejné úpravy jako v části o RLS 7.2. Doporučuji tuto část přečíst předem. Rekurzi pro střední hodnotu váhového vektoru $\mathrm{E}[\mathbf{w}[n]]$ získám uplatněním operátoru střední hodnoty na obě strany (7.50). Vzniklý moment 3. řádu $\mathrm{E}[\mathbf{x}[n] \mathbf{x}^T[n] \mathbf{w}[n]]$ rozložím použitím předpokladu o nezávislosti $\mathbf{x}[n]$ a $\mathbf{w}[n]$ (dostatečně malé $\mu$) na součin dvou momentů $\mathrm{E}[\mathbf{x}[n] \mathbf{x}^T[n]]$ a $\mathrm{E}[\mathbf{w}[n]]$. Zavedu značení

$$\begin{gathered}\mathbf{R}_{xx} = \mathrm{E}[\mathbf{x}[n] \m... ...\mathbf{r}_{xd} = \mathrm{E}[\mathbf{x}[n]d[n]]. \end{gathered}$$ (7.51)

Od obou stran vzniklé rovnosti odečtu optimální hodnotu váhového vektoru $\mathbf{w}_{\mathrm{opt}} = \mathbf{R}_{xx}^{-1}\mathbf{r}_{xd}$ a zavedu vektor

$$\mathbf{v}[n] = \mathrm{E}[\mathbf{w}[n]] - \mathbf{w}_{\mathrm{opt}} .$$ (7.52)

Výsledná rovnost pak vypadá

$$\begin{aligned}\mathbf{v}[n+1] &= \mathbf{v}[n] + \mu ( \mathbf... ... (\mathbf{E} - \mu \mathbf{R}_{xx}) \mathbf{v}[n] . \end{aligned}$$

Jelikož autokorelační matice $\mathbf{R}_{xx}$ je reálná symetrická existuje z lematu 7.5 její vlastní rozklad $\mathbf{R}_{xx} = \mathbf{V}\mathbf{D}\mathbf{V}^T$. Dosadím do (7.53) a použiji ortogonalitu $\mathbf{V}$

$$\mathbf{v}[n+1] = (\mathbf{E} - \mu \mathbf{V}\mathbf{D}\mathbf{V... ...hbf{v}[n] = \mathbf{V}(\mathbf{E} - \mu \mathbf{D})\mathbf{V}^T \mathbf{v}[n] .$$ (7.54)

Zavedu vektor

$$\mathbf{u}[n] = \mathbf{V}^T \mathbf{v}[n] .$$ (7.55)

Rovnost (7.54) vynásobím zleva $\mathbf{V}^T = \mathbf{V}^{-1}$ a dostanu rekurzi pro $\mathbf{u}[n]$

$$\mathbf{u}[n+1] = (\mathbf{E} - \mu \mathbf{D}) \mathbf{u}[n] .$$ (7.56)

Z lemmatu 7.5 má $\mathbf{D}$ tvar $\mathbf{D} = \mathrm{diag}([\lambda_1,\ldots,\lambda_N])$, kde $\lambda_1,\ldots,\lambda_N$ jsou všechna vlastní čísla $\mathbf{R}_{xx}$ včetně násoností. Mohu tedy (7.56) rozepsat jednoduše pro jednotlivé složky $\mathbf{u}$

$$u_k[n] = (1-\mu\lambda_k)^n u_k[0], \;\;\;\; k = 1,\ldots,N .$$ (7.57)

Aby konvergovaly pro $n \rightarrow \infty$ $u_k[n]$ k nule, z (7.55) $\mathbf{v}[n]$ k $\mathbf{o}$ a z (7.52) $\mathrm{E}[\mathbf{w}[n]]$ k $\mathbf{w}_{\mathrm{opt}}$, musí být z (7.57) nutně všechna vlastní čísla $\mathbf{R}_{xx}$ ostře větší než 0 ($\mu$ je kladná konstanta), což je splněno pro regulární $\mathbf{R}_{xx}$, viz. (7.48) a současně musí platit

$$\mu < \frac{2}{\lambda_k}, \;\;\;\; k = 1,\ldots,N .$$ (7.58)

Nejrestriktivnější z pohledu na horní mez pro $\mu$ (7.58) je největší vlastní číslo. Proto postačuje $\mu < \frac{2}{\lambda_{max}}$, které můžeme pro stacionárního náhodný proces $x[n]$ shora omezit podle (7.49). Horní mez pro $\mu$ se pak zjednodušší na

$$\mu < \frac{2}{N r_{xx,0}}, \;\;\;\; k = 1,\ldots,N ,$$ (7.59)

což už se trochu podobá námi užívané horní mezi (7.1), která je ale stále o něco restriktivnější. Je to dáno tím, že nepostačuje, konverguje-li vektor vah pouze ve střední hodnotě k optimu, musí konvergovat i ve varianci (k nule). Z analýzy konvergence ve varianci právě vyplyne námi používaná horní mez (7.1).

Dále si všiměte, že z (7.57) jde střední hodnota váhového vektoru k optimu po přímce pouze pro shodná vlastní čísla (tedy pokud $\mathbf{R}_{xx}$ má jedno vlastní číslo násobnosti $N$). To ale platí pouze pro bílé stacionární náhodné procesy. Pro barevné (různá vlastní čísla) se průběh střední hodnoty váhového vektoru může od přímky značně odlišovat. Např. díky různým vlastním číslům může v jedné složce vektoru $\mathbf{u}$ zkovergovat velice rychle a v jiné velice pomalu, jak jste ostatně již pozorovali.