吃瓜篇02

机器学习三要素:

  1. 模型:根据具体问题,确定假设空间
  2. 策略:根据评价标准,确定选取最优模型的策略(损失函数由此诞生)
  3. 算法:求解损失函数,得出最优模型

解释下列公式推导:
E w ^ = ( y − X w ^ ) T ( y − X w ^ ) E_{\hat{w}} = (\boldsymbol{y} - \mathbf{X}\hat{\boldsymbol{w}})^{\mathrm{T}}(\boldsymbol{y} - \mathbf{X}\hat{\boldsymbol{w}}) Ew^=(yXw^)T(yXw^)求导得到
∂ E w ^ ∂ w ^ = 2 X T ( X w ^ − y ) \frac{\partial E_{\hat{w}}}{\partial \hat{\boldsymbol{w}}} = 2\mathbf{X}^{\mathrm{T}}(\mathbf{X}\hat{\boldsymbol{w}} - \boldsymbol{y}) w^Ew^=2XT(Xw^y)
为了求导,先展开这个表达式。根据矩阵乘法的性质,我们可以将其展开为:
E w ^ = ( y T − w ^ T X T ) ( y − X w ^ ) E_{\hat{w}} = (\boldsymbol{y}^{\mathrm{T}} - \hat{\boldsymbol{w}}^{\mathrm{T}}\mathbf{X}^{\mathrm{T}})(\boldsymbol{y} - \mathbf{X}\hat{\boldsymbol{w}}) Ew^=(yTw^TXT)(yXw^) E w ^ = y T y − y T X w ^ − w ^ T X T y + w ^ T X T X w ^ E_{\hat{w}} = \boldsymbol{y}^{\mathrm{T}}\boldsymbol{y} - \boldsymbol{y}^{\mathrm{T}}\mathbf{X}\hat{\boldsymbol{w}} - \hat{\boldsymbol{w}}^{\mathrm{T}}\mathbf{X}^{\mathrm{T}}\boldsymbol{y} + \hat{\boldsymbol{w}}^{\mathrm{T}}\mathbf{X}^{\mathrm{T}}\mathbf{X}\hat{\boldsymbol{w}} Ew^=yTyyTXw^w^TXTy+w^TXTXw^
由于 y T X w ^ \boldsymbol{y}^{\mathrm{T}}\mathbf{X}\hat{\boldsymbol{w}} yTXw^ w ^ T X T y \hat{\boldsymbol{w}}^{\mathrm{T}}\mathbf{X}^{\mathrm{T}}\boldsymbol{y} w^TXTy是同一个值,因此可以合并:
E w ^ = y T y − 2 w ^ T X T y + w ^ T X T X w ^ E_{\hat{w}} = \boldsymbol{y}^{\mathrm{T}}\boldsymbol{y} - 2\hat{\boldsymbol{w}}^{\mathrm{T}}\mathbf{X}^{\mathrm{T}}\boldsymbol{y} + \hat{\boldsymbol{w}}^{\mathrm{T}}\mathbf{X}^{\mathrm{T}}\mathbf{X}\hat{\boldsymbol{w}} Ew^=yTy2w^TXTy+w^TXTXw^ w ^ \hat{\boldsymbol{w}} w^ 求导
逐项求导:

  1. y T y \boldsymbol{y}^{\mathrm{T}}\boldsymbol{y} yTy 是常数,对 w ^ \hat{\boldsymbol{w}} w^ 的导数为 0。
  2. − 2 w ^ T X T y -2\hat{\boldsymbol{w}}^{\mathrm{T}}\mathbf{X}^{\mathrm{T}}\boldsymbol{y} 2w^TXTy的导数为 − 2 X T y -2\mathbf{X}^{\mathrm{T}}\boldsymbol{y} 2XTy
  3. w ^ T X T X w ^ 的导数为 2 X T X w ^ \hat{\boldsymbol{w}}^{\mathrm{T}}\mathbf{X}^{\mathrm{T}}\mathbf{X}\hat{\boldsymbol{w}} 的导数为2\mathbf{X}^{\mathrm{T}}\mathbf{X}\hat{\boldsymbol{w}} w^TXTXw^的导数为2XTXw^
    因此,总导数为:
    ∂ E w ^ ∂ w ^ = − 2 X T y + 2 X T X w ^ \frac{\partial E_{\hat{w}}}{\partial \hat{\boldsymbol{w}}} = -2\mathbf{X}^{\mathrm{T}}\boldsymbol{y} + 2\mathbf{X}^{\mathrm{T}}\mathbf{X}\hat{\boldsymbol{w}} w^Ew^=2XTy+2XTXw^
    简化后得到: ∂ E w ^ ∂ w ^ = 2 X T ( X w ^ − y ) \frac{\partial E_{\hat{w}}}{\partial \hat{\boldsymbol{w}}} = 2\mathbf{X}^{\mathrm{T}}(\mathbf{X}\hat{\boldsymbol{w}} - \boldsymbol{y}) w^Ew^=2XT(Xw^y)

总结:

task02总体来讲偏向入门(每次学习都卡在线性回归这一块,算是深度学习中的abandon),适合回顾之前的线代知识,在南瓜书视频中学到了一些巧妙的推导方法。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值