Linear Regression

Linear Regression

线性回归就是拟合出一个线性组合关系的函数。要找一条直线，并且让这条直线尽可能地拟合所有数据点。
即：试图找到一条直线，使所有样本到直线上的欧式距离之和最小。

一元线性回归

拟合出一个线性组合关系的函数：y = wx+b 。

多元线性回归

多元线性回归比一元线性回归复杂，其组成的不是直线，而是一个多维空间中的超平面，数据点散落在超平面的两侧。
求解方法：
1、最小二乘法（least square method）：均方误差最小化。最小二乘估计。对w和b分别求偏导。

2、梯度下降（gradient descent）：近似逼近，一种迭代方法。对向量求偏导。

一元线性回归最小二乘法的实现

import numpy as np
import matplotlib.pyplot as plt
 
# ---------------1. 准备数据----------
data = np.array([[32,31],[53,68],[61,62],[47,71],[59,87],[55,78],[52,79],[39,59],[48,75],[52,71],
          [45,55],[54,82],[44,62],[58,75],[56,81],[48,60],[44,82],[60,97],[45, 48],[38,56],
          [66,83],[65,118],[47,57],[41,51],[51,75],[59,74],[57,95],[63,95],[46,79],[50,83]])
 
# 提取data中的两列数据，分别作为x，y
x = data[:, 0]
y = data[:, 1]
 
# 用plt画出散点图
#plt.scatter(x, y)
#plt.show()
 
# -----------2. 定义损失函数------------------
# 损失函数是系数的函数，另外还要传入数据的x，y
def compute_cost(w, b, points):
    total_cost = 0
    M = len(points)
 
    # 逐点计算平方损失误差，然后求平均数
    for i in range(M):
        x = points[i, 0]
        y = points[i, 1]
        total_cost += (y - w * x - b) ** 2
 
    return total_cost / M
 
# ------------3.定义算法拟合函数-----------------
# 先定义一个求均值的函数
def average(data):
    sum = 0
    num = len(data)
    for i in range(num):
        sum += data[i]
    return sum / num
 
# 定义核心拟合函数
def fit(points