本文探讨了如何使用带有正则项的线性回归来避免过拟合现象。通过非线性函数的线性化，将问题转化为多元线性回归，并引入正则项（Regulation）来限制模型复杂度。实验表明，正则化参数λ的增大导致θ参数减小，从而平衡模型的拟合与泛化能力。λ=0时可能产生过拟合，而λ=1和10分别展示出适度和欠拟合的效果。
问题描述：
一直7个样本点（x，y）；散点图如下；现采用函数拟合已找到一个函数f(x);使其跟好的估计真实的x和y的函数关系。
从直观分析可以得出，因变量x和果变量y不成线性关系，故采用非线性函数来h(x)来拟合；有图像观察和经验，现在用最高次为5次（4次或者其他次幂也可以）的多项式作为拟合函数h(x)的结构框架。
非线性回归的线性化：
由上述拟合函数可以看出，我们有x0，x1，x2……x5 （x2代表x的2次方，由于格式的关系，没有显示上标，下同） 共计6个特征量；所以可以根据原始样本数据x，通过x的平方，立方……运算，计算出x0，x1，x2……x5各项的值，又由于拟合函数h(x)的各项系数theta（θ的引文字母表示）为常数，所以最后问题转化为多元线性回归问题。
即：已知样本点（x1，x2，x3 ，x4 ，x5，y），求拟合函数h(x)的系数theta
正则项（Regulation）：
由参数theta的平方和 与 权重项参数lambda组成
因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
