本文详细介绍了自适应线性单元（Adaline）的模型结构，包括最小均方误差算法（LMS）、梯度下降算法及其变种，如LMS的随机逼近算法和最速下降法。Adaline主要用于自适应滤波、时间序列预测和信道均衡等应用，通过不断调整权重以逼近理想输出。
自适应线性单元–Adaptive Linear Units–Adaline
模型结构
- 在M-P模型的基础上
- s ( k ) = ∑ i = 1 n w i x i ( k ) − θ = ∑ i = 0 n w i x i ( k ) = W T X ( k ) \begin{aligned}s(k)&=\sum_{i=1}^nw_ix_i(k)-\theta\\&=\sum_{i=0}^nw_ix_i(k)\\&=W^TX(k)\end{aligned} s(k)=i=1∑nwixi(k)−θ=i=0∑nwixi(k)=WTX(k)
- y ( k ) y(k) y(k)依然是二值输出， φ ( s ) \varphi(s) φ(s)可以取 φ ( s ) = U ( s ) \varphi(s)=U(s) φ(s)=U(s)或 φ ( s ) = S g n ( s ) \varphi(s)=Sgn(s) φ(s)=Sgn(s)
- d ( k ) d(k) d(k)依然是期望输出（不是二值，是任意值）
- 区别：使线性部分（任意值）来逼近理想输出
- 学习算法：LMS，利用 d ( k ) 和 s ( k ) d(k)和s(k) d(k)和s(k)的差别，使 e ( k ) = d ( k ) − s ( k ) e(k)=d(k)-s(k) e(k)=d(k)−s(k)，来调整权重 w i w_i wi，使得线性输出 s ( k ) → d ( k ) s(k)\rarr d(k) s(k)→d(k)，从而使得 y ( k ) y(k) y(k)逼近理想的二值函数
最小均方误差算法(The Least Mean Squared Error Algorithm，LMS)
-
算法的存在性和收敛性
-
设理想权值为 W ∗ W^* W∗
s ( k ) = W T X ( k ) , W = [ w 0 , w 1 , . . . , w n ] T , X ( k ) = [ 1 , x 1 ( k ) , . . . , x n ( k ) ] T s(k)=W^TX(k),W=[w_0,w_1,...,w_n]^T,X(k)=[1,x_1(k),...,x_n(k)]^T s(k)=WTX(k),W=[w0,w1,...,wn]T,X(k)=[1,x1(k),...,xn(k)]T
则误差 e ( k ) e(k) e(k)为： e ( k ) = d ( k ) − W T X ( k ) e(k)=d(k)-W^TX(k) e(k)=d(k)−WTX(k)， e ( k ) e(k) e(k)是关于 W W W的线性函数
定义误差平方的数学期望为 J ( W ) = E [ e 2 ( k ) ] → W min J(W)=E[e^2(k)]\xrightarrow{W}\min J(W)=E[e2(k)]Wmin选取合适的 W W W，使得 J ( W ) J(W) J(W)取得最小值
J ( W ) = E [ ( d ( k ) − W T X ( k ) ) 2 ] = E [ ( d 2 ( k ) − 2 W T X ( k ) d ( k ) + W T X ( k ) X T ( k ) W ) ) ) ] = E [ d 2 ( k ) ] − 2 W T R X d + W T R X X W \begin{aligned}J(W)&=E[(d(k)-W^TX(k))^2]=E[(d^2(k)-2W^TX(k)d(k)+W^TX(k)X^T(k)W)))]\\&=E[d^2(k)]-2W^TR_{Xd}+W^TR_{XX}W\end{aligned} J(W)=E[(d(k)−WTX(k))2]=E[(d2(k)−2WTX(k)d(k)+WTX(k)XT(k)W)))]=E[d2(k)]−2W
最低0.47元/天 解锁文章
扫一扫
355
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
