线性回归是监督学习中的基础模型，常用于预测连续值。模型通过找到输入特征与输出之间的线性关系来拟合数据。它可以采用多种basis function，如多项式、高斯、sigmoid等。学习目标是最小化成本函数，通常使用梯度下降算法进行参数更新。在线性回归中，过拟合和欠拟合是关键问题，通过正则化可以缓解过拟合，调整模型复杂度与泛化能力的平衡。
线性回归模型使用的场景是有监督学习（supervised learning）。
例如下例给定训练样本集， 输入特征是二维的，让我们去预测房价。 我们就可以使用线性回归模型去求解。 例如多项式拟合价格和输入二维特征向量的关系， 我们模型的参数就是多项式前面的那些系数。
首先回归（regression）的目的就是指根据给定一个d维的输入特征向量x， 预测出一个或者多个取值连续的target variables t 的值。
线性回归模型常用的一个特殊的例子就是多项式拟合。 不过线性回归模型远非只有多项式， 而是还有很多的类型， 这主要是更具basis function的类型来看的。 尽管线性回归模型并不是输入特征向量的一个线性函数， 但是我们之所以称之为线性模型是因为他们是basis的线性函数。 更确切的说这些模型是模型参数的线性函数。 模型参数就是basis function 前面的weight参数， 即拟合函数是linear combination of basis function。
或者写成利用：
改写成如下：
其中：
这些basis functions 可以是输入特征向量的非线性函数。 常见的可以作为basis functions的函数类有多项式函数类， Gaussian basis functions如下：
亦可以是sigmoidal basis function:
亦可以是logistic sigmoid function:
最低0.47元/天 解锁文章
扫一扫
540
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
