1. 模型优化
常用的模型优化的方式重要有两种方式,正规方程和梯度下降。
(1)正规方程
和梯度下降不同的是在于求出代价函数最小时的参数值的方式不同。通常用于线性回归问题。
(2)梯度下降
首先建立一个代价函数,然后快速找到代价函数最小的一系列参数值的过程。
我们开始随机的选择一系列的参数值,计算所有的预测结果后,再给所有的参数一个新的值,如此循环直到收敛。
(3)正规方程和梯度下降的对比
梯度下降常用于复杂的学习算法中,单对于特定的线性回归模型,正规方程比梯度下降更适合。
2. 正则化
正则化的主要思想是:简化模型,从而达到防止过拟合的效果。
防止过拟合的方法:
(1)丢弃一些不能帮助我们正确预测的特征,可以是手工保留哪些特征,或者使用一些模型进行选择(PCA);
(2)正则化,保留所有的特征,但是减少参数的大小。