习题2-2（nndl）

2-2 问题

在线性回归中，如果我们给每个样本$\left({\mathbf{x}}^{\left(n\right)},y^{\left(n\right)}\right)$ 赋予一个权重$r^n$,经验风险函数为$$\mathcal{R}\left(w\right)=\frac{1}{2}\sum _{n=1}^N{\mathbf{r}}^{\left(n\right)}{\left({\mathbf{y}}^{\left(n\right)}-{\mathbf{w}}^T{\mathbf{x}}^{\left(n\right)}\right)}^2$$
计算其最优参数${\mathbf{w}}^{\ast }$,并分析权重$r^n$的作用。

解：风险函数$\mathcal{R}\left(\mathbf{w}\right)$是关于$\mathbf{w}$的凸函数，将$r^n$提到最前面进行叠加，其对$\mathbf{w}$的偏导为$$\frac{\partial \mathcal{R}\left(\mathbf{w}\right)}{\partial \mathbf{w}}=-\frac{1}{2}\sum _{\mathbf{n}=1}^N{r}^{\left(n\right)}\mathbf{X}\left(\mathbf{y}-X^T\mathbf{w}\right)$$
令上式为零得到$$w^{\ast }=\sum _{n=1}^N{r}^{\left(n\right)}{\left(X{X}^T\right)}^{-1}Xy$$

结论：我们给每一个样本赋予权重$r^n$，这里我理解是在我们进行优化的时候，在局部数据进行优化的时候我们对感兴趣的局部设置权重往往会大一点以用来削弱距离较远的数据带来的影响。倘若在全局进行优化的时候我们往往会给予样本以相差不大的权重；这里权重是对数据处理进行的一次人为的标注，以达到我们所期望的最优参数解。

在邱老师的github课后解答中，我看到答案的解为：
令$\mathbf{R}$=diag($r^n$)(对角矩阵)此时$\mathbf{R}$$\mathbf{X}$就表示将$x^n$赋予权重
$$\frac{\partial \mathcal{R}\left(w\right)}{\partial w}=\frac{1}{2}\frac{\partial \mathcal{R}||\mathbf{y}-{\mathbf{X}}^T{\mathbf{w}||}^2}{\partial \mathbf{w}}=0$$
$$-\mathbf{X}\mathbf{R}\left(\mathbf{y}-{\mathbf{X}}^{\mathbf{T}}\mathbf{w}\right)=0$$
解得：
$${\mathbf{w}}^{\ast }={\left({\mathbf{X}\mathbf{R}\mathbf{X}}^{\mathbf{T}}\right)}^{-1}\mathbf{X}\mathbf{R}\mathbf{y}$$
此解更为简洁，我们注意的是构建矩阵$\mathbf{R}$为对角矩阵