机器学习之线性回归

机器学习之线性回归

线性模型

通过属性的线性组合来进行预测

$$f(x) = w_1x_1+w_2x_2+...+w_dx_d$$
$$f(x) = w^Tx+b$$

线性回归

1.形式

$$f(x) = \theta_0 x_0 + \theta_1 x_1 + \theta_2 x_2 + ... + \theta_n x_n$$
在特征x中增加一维 x0 = 1，表示截距项
$$f(x) = \theta^T x$$
把 x 到 y 的映射函数 f 记作 theta 的函数
$$h_\theta(x) = \theta^Tx$$

2.损失函数

• MSE：评估与标准答案之间的差距
• 目的：找到最好的权重/参数 theta
• 均方误差顺势是一个凸函数
• 损失函数
  $$J(\theta_0, \theta_2, ... , \theta_n) = \frac{1}{2m} \sum_{i=1}^m(h_\theta(x^{(i)}) - y^{(i)})^2$$
• 正则化
  $$J(\theta) = \frac{1}{2m}[ \sum_{i=1}^m(h_\theta(x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta_j^2]$$

3.梯度下降

• 沿着损失函数梯度方向逐步修整参数
• 根据斜率，逐步迭代减小损失函数（凸函数）

repeat until convergence {

$$\theta_j := \theta_j - \alpha\frac{d}{d\theta_j}J(\theta_j)$$
}
$$\frac{d}{d\theta_j}J(\theta_j) = \frac{1}{m} X(X\theta-y)$$

• 正则化：
  

  $$\theta_j := \theta_j - \alpha\frac{d}{d\theta_j}J(\theta_j) + \frac{\lambda}{m}\theta_j$$
  注意：theta0不需要正则化

• 学习率

  • alpha，超参数，步长
  • 太小：收敛速度太慢
  • 太大：会震荡，甚至不收敛
  • 给定数组的候选值通过测验选择 alpha

实例

——城市人口与人均收入

• LinearRegression.py

import numpy as np

def costFunction(X, y, theta=[[0],[0]]):
    m = y.size
    J = 0

    h = X.dot(theta)
    J = 1.0 / (2 * m) * (np.sum(np.square(h-y)))

    return J

def gradientDescent(X, y, theta=[[0],[0]], alpha=0.01, num_iter=1500):
    m = y.size
    J_history = np.zeros(num_iter)

    for iter in np.arange(num_iter):
        J_history[iter] = costFunction(X, y, theta)
        h = X.dot(theta)
        theta = theta - alpha * (1.0 / m) * X.T.dot(h-y)

    return (theta, J_history)

• demo.py

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

import LinearRegression as lr

# 1.数据处理
data = np.loadtxt('linear_regression_data1.txt', delimiter=',')
print('Data:')
print(data[0:5])

X = np.c_[np.ones(data.shape[0]), data[:, 0]]
y = np.c_[data[:, 1]]

# 2.绘制散点图
plt.scatter(X[:, 1], y,s=30, c='r', marker='x', linewidths=1)
plt.xlim(4,24)
plt.xlabel("Population of City in 10,000s")
plt.ylabel("Profit in $10,000s")
plt.show()

# 3.绘制损失函数迭代变化
theta, cost_J = lr.gradientDescent(X, y)
print('theta: ', theta.ravel())

plt.plot(cost_J)
plt.ylabel('cost J')
plt.xlabel('Iterations')
plt.show()

# 4.与sklearn的线性回归模型对比
xx = np.arange(5,23)
yy = theta[0]+theta[1]*xx

# 画出我们自己写的线性回归梯度下降收敛的情况
plt.scatter(X[:,1], y, s=30, c='r', marker='x', linewidths=1)
plt.plot(xx,yy, label='Linear regression (Gradient descent)')
# 和Scikit-learn中的线性回归对比一下 
regr = LinearRegression()
regr.fit(X[:,1].reshape(-1,1), y.ravel())
plt.plot(xx, regr.intercept_+regr.coef_*xx, label='Linear regression (Scikit-learn GLM)')

plt.xlim(4,24)
plt.xlabel('Population of City in 10,000s')
plt.ylabel('Profit in $10,000s')
plt.legend(loc=4);
plt.show()

github代码：myMLLearning/Linear Regression

实例中使用到的函数

• numpy.loadtxt()
  
  • 读取文件
  • loadtxt(fname, dtype=, comments=’#’, delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0)
  • fname：文件名或路径
  • dtype：数据类型
  • comment：以此为开头的跳过输出
  • delimiter：分隔符
  • converters：转换器，对数据进行预处理
  • skiprows：跳过前几行
  • usecols：只使用哪几列
  • unpack：是否将每一列当成一个向量输出，而不是合并在一起
  • ndmin：返回的数组至少有几个维度
  • 返回值：narray
• matplotlib.pyplot.scatter()
  
  • 绘制散点图
  • scatter(x, y, s=None, c=None, marker=None, cmap=None, norm=None, vmin=None, vmax=None, alpha=None, linewidths=None, verts=None, edgecolors=None, hold=None, data=None, **kwargs)
  • x, y：数据
  • s：大小
  • c：颜色
  • marker：标记点样式
  • linewidths：曲线宽度
• matplotlib.pyplot.xlim()
  
  • 坐标上下限

github代码：myMLLearning/Linear Regression