Python:【人工智能】【机器学习】带你从零到用代码实现线性回归问题

本文介绍了线性回归的基础理论，包括线性模型和最小二乘法参数估计。通过Python代码展示了如何实现一元及多元线性回归，并探讨了对数线性回归和广义线性模型的概念。还使用sklearn库进行了多元线性回归的实践应用。

线性回归可以说是机器学习的入门理论之一，想用代码实现线性回归模型，我们先来了解一下它的理论吧。

线性模型

线性模型（Linear model）试图学得一个通过属性的线性组合来进行预测的函数。

$f(x)=w_1x_1+w_2x_2+...+w_dx_d+b\\ 向量形式：f(x)=w^Tx+b$

线性回归（Linear Regression）

$wx_{i}+b\qquad使得\qquad f(x_{i})\approx y_{i}$

令均方差误差最小化，有
$KaTeX parse error: No such environment: split at position 8: \begin{̲s̲p̲l̲i̲t̲}̲ (w^{*},b^{*}…$
对 $E(w,b)=∑i=1m(yi−wxi−b)2E_{(w,b)}=\sum\limits_{i=1}^{m}(y_{i}-wx_{i}-b)^2$ 进行最小二乘法参数估计

分别对 $w$ 和 $b$ 求导:
$\partial E_{(w.b)} = 2(w\sum\limits_{i=1}^mx_i^2-\sum\limits_{i=1}^m(y_{i}-b)x_{i})\\ \partial E_{(w.b)} = 2(w\sum\limits_{i=1}^mx_i^2-\sum\limits_{i=1}^m(y_{i}-b)x_{i})$
令导数为0，得到闭式(closed-form)解：
$w=\frac{\sum\limits_{i=1}^my_i(x_i-\overline{x})}{\sum\limits_{i=1}^mx^2-\frac1m(\sum\limits_{i=1}^mx_i)^2} \qquad b=\frac1m\sum\limits_{i=1}^m(y_i-wx_i)$