这篇博客介绍了机器学习中的线性回归模型，包括线性回归的定义、建模过程、损失函数、不同类型的梯度下降算法以及防止过拟合的正则化方法。线性回归假设输入和输出存在线性关系，并通过最小化损失函数进行参数学习。文章详细阐述了批量梯度下降、随机梯度下降和小批量梯度下降的工作原理。
一、线性回归
线性回归一般用来做连续值的预测，预测结果为一个连续值。因为训练时学习样本不仅要提供学习的特征向量X，还要提供样本的实际结果，所以它是一种有监督学习。
表示数据矩阵，其中
表示一个n维长的数据样本，
表示数据标记。线性回归需要学习得到一个映射关系
，当给定新的待预测样本时，可以通过这个映射关系得到一个测试样本X的预测值y。
线性回归的数学假设
1、假设输入X和输出y是线性关系，预测的y和X通过线性方程建立模型
2、Y和X之间满足方程Y=XW+e，e是误差项、噪声项，假设e是独立同分布的，服从IID（independent and identity distribution）和均值为0、方差为某一定值的正态分布。
二、线性回归建模
当特征向量X中只有一个特征时，需要学习到的函数应该是一个一元线性函数y=ax+b
最低0.47元/天 解锁文章
扫一扫
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
