【机器学习】'Batch' Gradient Descent 批梯度下降

dodobibibi

于 2019-04-18 21:31:20 发布

阅读量563

点赞数

本文链接：https://blog.youkuaiyun.com/dodobibibi/article/details/89388601

版权

本文详细介绍了批量梯度下降法，包括单变量和多变量的情况。批量梯度下降法是一种常见的优化算法，每个迭代步长利用全部训练样本计算梯度，以更新模型参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

批梯度下降：指的是每下降一步，使用所有的训练集来计算梯度值。

单变量

# -*- coding:utf-8 -*-
# @Time:4/18/19 9:08 PM
# @Author:CIGA
# @Filename:02_batch_gradient_descent.py
# @Software:PyCharm
"""
批梯度下降batch_gradient_descent
批梯度下降：指的是每下降一步，使用所有的训练集来计算梯度值
单变量
"""

import numpy as np

a = np.random.rand(100, 1)
X = 2 * a
y = 4 + 3 * X + a
"""
a = np.array([[1, 2, 3],[7,8,9]])
 
b=np.array([[4,5,6],[1,2,3]])
 
a
Out[4]: 
array([[1, 2, 3],
       [7, 8, 9]])
 
b
Out[5]: 
array([[4, 5, 6],
       [1, 2, 3]])
 
c=np.c_[a,b]
 
c
Out[7]: 
array([[1, 2, 3, 4, 5, 6],
       [7, 8, 9, 1, 2, 3]])
"""
"""
>>> np.ones((2, 1))
array([[ 1.],
      [ 1.]])
"""
X_b = np.c_[np.ones((100, 1)), X]

# 学习率
learning_rate = 0.1
# 迭代次数
n_iterations = 1000
# 样本个数
m = 100

# 1.初始化theta&#x