吴恩达-模型优化/正则化

博客介绍了模型优化和正则化相关内容。模型优化常用正规方程和梯度下降两种方式,前者常用于线性回归,后者通过不断更新参数值使代价函数最小,特定线性回归模型用正规方程更合适。正则化主要是简化模型防止过拟合,可丢弃特征或减少参数大小。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 模型优化

    常用的模型优化的方式重要有两种方式,正规方程和梯度下降。

    (1)正规方程

           和梯度下降不同的是在于求出代价函数最小时的参数值的方式不同。通常用于线性回归问题。

    (2)梯度下降

         首先建立一个代价函数,然后快速找到代价函数最小的一系列参数值的过程。

        

     我们开始随机的选择一系列的参数值,计算所有的预测结果后,再给所有的参数一个新的值,如此循环直到收敛。

    (3)正规方程和梯度下降的对比

  梯度下降常用于复杂的学习算法中,单对于特定的线性回归模型,正规方程比梯度下降更适合。

2. 正则化

  正则化的主要思想是:简化模型,从而达到防止过拟合的效果。

  防止过拟合的方法:

 (1)丢弃一些不能帮助我们正确预测的特征,可以是手工保留哪些特征,或者使用一些模型进行选择(PCA);

 (2)正则化,保留所有的特征,但是减少参数的大小。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值