线性回归LinearRegression

对视频中线性回归算法的相关内容进行总结与记录

一、理论基础

• 回归
  通常是指利用某个函数，尽可能把数据样本点“串”在一起，用于描述输入变量和输出变量间的变化关系

• 线性回归
  特点：用来把数据“串”起来的那个函数是线性的
  （一元线性回归（一个自变量） & 多元线性回归（至少两个自变量） ）

一个线性函数的通式为 $y=k\cdot x+b$ 或 $y=k^{T}x+b$
其中：
$x$是nx1维的自变量向量，$k$是nx1维的权重。$y$是输出变量，$b$是常数。
若为一元线性回归，则n为1

• 线性回归的形式化定义
  通常用平方误差来衡量拟合的效果：
  真实值和预测值之差的平方，即：$(\hat{y}-y{)}^2$
  其中：
  $\hat{y}$代表真实值，$y$代表回归拟合的预测值

二、实例

2.1 一元线性回归

用一个线性函数去拟合购买率和折扣率（有7个样本点）

用$y$表示购买率，$x$表示折扣率，那么线性函数的表达式就为$y=kx+b$

假设已经有了$k$ 和 $b$，那么就可以根据输入的x值，拟合出y的值。
线性回归的目标就是尽可能让“串”在一起的平方误差最小：
$$\sum _{i=1}^7(\widehat{y_i}-y_i{)}^2$$

2.1.1 推导过程

令平方误差最小，本质即为求解最值的问题。

对线性回归而言，可以通过求导法来进行计算：

首先将平方误差函数用向量的形式进行表达：
$$\sum _{i=1}^7(\widehat{y_i}-y^{}$$