简单回归问题

梯度下降求解线性回归

原创已于 2022-01-19 11:16:42 修改 · 878 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#回归 #机器学习 #python

于 2022-01-16 15:50:29 首次发布

从零开始学深度学习专栏收录该内容

18 篇文章

订阅专栏

本文介绍如何使用梯度下降算法解决线性回归问题，通过不断调整参数w和b，最小化损失函数(loss=(wx+b-y)^2)。文章提供了一种迭代更新参数的方法，并给出了具体的Python实现代码。

一、梯度下降算法求解二元一次方程

问题描述
- 求解 $y = w * x + b + e p s$ 最小值
- 给出x,y的大量测试点，预测出w和b
步骤
- 将方程式转化为 $loss=(w*x+b)^2$ ,由于有大量的测试点，可以求出loss的均值avg来表示。(这就是求解loss函数的式子)
- 求梯度信息
  1. $\frac{\nabla loss}{\nabla w}$ （lr是learningRate学习率）
  2. $\frac{\nabla loss}{\nabla b}$
- 给定迭代次数来求取目标解[b,w]
code

# 求解loss = (wx+b-y)^2
import numpy as np


def compute_error_for_line_given_points(b,w,points):
    totalError = 0
    for i in range(0,len(points)):
        x = points[i,0]
        y = points[i,1]
        totalError += (w * x + b - y) ** 2
    return  totalError / float(len(points))
# 计算梯度信息loss = (wx+b-y)^2
# 对w求偏导: 2*(wx+b-y)*x
# 对b求偏导: 2*(wx+b-y)
# 求解迭代的w' = w - lr * (loss/w)(w对loss的偏导)
# 求解迭代的b' = b - lr * (loss/b)(b对loss的偏导)
def step_gradient(b_current,w_current,points,learningRate):
    b_gradient = 0
    w_gradient = 0
    N = float(len(points))
    for i in range(0,N):
        x = points[i,0]
        y = points[i,1]
        w_gradient += (2/N) * (w_current * x + b_current - y) * x  #求w'的avg
        b_gradient += (2/N) * (w_current * x + b_current - y)      #求b'的avg
    new_b = b_current - (learningRate * b_gradient)
    new_w = w_current - (learningRate * w_gradient)
    return [new_b,new_w]

# 循环迭代梯度信息,num_iterations(迭代的次数)
def gradient_descent_runner(points,starting_b,starting_w,learning_rate,num_iterations):
    b = starting_b
    w = starting_w
    for i in range(num_iterations):
        b,w = step_gradient(b,w,np.array(points),learning_rate)
    return [b,w] # 找到比较优的解