一. 线性回归
1. 基本形式
线性模型
线性模型形式简单、易于建模,而且很多更强大的非线性模型都是在线性模型的基础上通过引入层级结构(比如多层感知机模型)或者高维映射(如非线性支持向量机) 得到的,因此线性模型是很多模型学习的基础。
回归任务举例
以回归任务为例,在给定n个属性描述的示例 x = ( x 1 , ⋯ ⋯ x = ( x _ { 1 } , \cdots \cdots x=(x1,⋯⋯ , x _ { n } ),其中的 x i x _ { i } xi是x在第i个属性上的取值,线性模型是最简单的试图通过建立一个属性的线性组来预测的函数,可以表示为: f ( x ) = ω 1 x 1 + ω 2 x 2 + ⋯ + ω n x n + b f ( x ) = \omega _ { 1 } x _ { 1 } + \omega _ { 2 } x _ { 2 } + \cdots + \omega _ { n } x _ { n } + b f(x)=ω1x1+ω2x2+⋯+ωnx