Coursera-机器学习-吴恩达-5 过度拟合

qq_38829768

于 2018-08-09 21:37:14 发布

阅读量279

点赞数

文章标签：机器学习人工智能过度拟合

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/qq_38829768/article/details/81544247

版权

过度拟合问题

从图中可以看出来，最后一个过度拟合，由于特征变量

过多，导致拟合过度，而第一个是特征较少拟合不充分导致。

解决过度拟合的两个选择：
1、减少特征数量。

①手动选择保留的tezh特征。

②使用模型选择算法。

2、正则化

①保留所有特征，减少参数大小。

②当我们有很多特征的时候，正则化很有效果。

代价函数

$min(\Theta )= \frac{1}{2m}\sum_{i=1}^{m}\left ( h_{\Theta }(x^{(i)})-y^{(i)} \right )^{2}+\lambda \sum_{j=1}^{n}\Theta _{j}^{2}$

$\lambda$ 是正则化参数。

正则线性回归

梯度下降

$\Theta _{j}:=\Theta _{j}(1-\alpha \frac{\lambda }{m})-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\Theta }(x^{(i)})-y^{(i)})x_{j}^{(i)}$

正规方程

$\Theta = \left ( X^{T}X+\lambda L \right )^{-1}X^{T}y$

$L=\begin{bmatrix} 0 & & & & \\ & 1 & & & \\ & & 1& & \\ & & & ...& \\ & & & & 1 \end{bmatrix}$

正则逻辑回归

我们可以采用正则逻辑回归进行避免过度拟合，蓝线表示过度拟合过程。

梯度下降

$J(\Theta )= -\frac{1}{m}\sum_{i=1}^{m}\left [ y^{\left ( i \right )}log(h_{\Theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\Theta }(x^{(i)})) \right ]$ $+\frac{\lambda }{2m}\sum_{j=1}^{n}\Theta _{j}^{2}$

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。