正则化最小二乘估计

最新推荐文章于 2023-04-05 15:37:30 发布

柳叶吴钩

最新推荐文章于 2023-04-05 15:37:30 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：神经网络与机器学习笔记文章标签：正则化

本文链接：https://blog.youkuaiyun.com/moge19/article/details/85058445

神经网络与机器学习笔记专栏收录该内容

40 篇文章

订阅专栏

对于给定的训练样本 ${xi,di}i=1N\lbrace x_i, d_i\rbrace _{i=1} ^{N}$ ，最小二乘估计的正则化代价函数由下式定义：
$\varepsilon (w) = \frac{1}{2} \sum _{i=1} ^N(d_i - w^TX_i)^2 + \frac{1}{2} \lambda ||w||^2$
正则化项以w的形式简单地定义：
$DF||^2 = ||W||^2 = W^TW$
关于权值向量 $W^\hat{W}$ 都正则化解的预期响应d的表达式有：
$W^=(Rxx+λI)−1rdx\hat{W} = (R_xx + \lambda I ) ^{-1} r_{dx}$
$Rxx=∑i=1N∑j=1NXiXjTR_{xx} = \sum _{i=1} ^{N}\sum _{j=1} ^N X_iX_j^T$
$rdx=∑i=1NXidir_{dx} = \sum _{i=1} ^N X_i d_i$
以训练样本 ${xi,di}i=1N\lbrace x_i, d_i\rbrace _{i=1} ^{N}$ 的形式重申 $W^\hat{W}$ ，有：
$W^=(XTX+λI)−1XTd\hat{W} = (X^TX+ \lambda I ) ^{-1}X^Td$
X为输入数据矩阵
在这里插入图片描述

把最小二乘估计看成一个"核机器"，把它的核表示成内积的形式：
$k(X,X_i) = <X,X_i>=X^TX_i,i=1,2,...,N$
定义正则化最小二乘估计表示逼近函数：
$Fλ(X)=∑i=1Naik(X,Xi)F_{\lambda}(X) = \sum_{i=1}^{N}a_i k(X,X_i)$