机器学习（六）梯度下降python代码实现与梯度消失和梯度爆炸

这篇博客探讨了在机器学习中遇到的梯度下降和梯度消失、梯度爆炸现象，解释了这些问题对神经网络的影响。同时，提出了预训练加微调、梯度剪切和正则化等解决方案，特别提到了ReLU等激活函数在缓解梯度问题中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# 导包
import numpy as np

import matplotlib.pyplot as plt
%matplotlib inline

例
f = lambda x : (x - 3)**2 + 2.5*x -7.5
求解导数令导数=0求解最小值

# 导数 = 梯度
2*(x - 3)*1 + 2.5 = 0
2*x - 3.5 = 0
x = 1.75

x = np.linspace(-2,5,100)

y = f(x)

plt.plot(x,y)

在这里插入图片描述

梯度下降求解最小值

# 导数函数
d = lambda x : 2*(x - 3) + 2.5

# 学习率，每次改变数值的时候，改变多少
learning_rate = 0.1

# min_value瞎蒙的值，方法，最快的速度找到最优解（梯度下降）
min_value = np.random.randint(-3,5,size = 1)[0]
print('---------------------',min_value)
# 记录数据更新了，原来的值，上一步的值,退出条件
min_value_last = min_value + 0.1
# tollerence容忍度，误差，在万分之一，任务结束
tol = 0.0001
count = 0
while True:
    if np.abs(min_value - min_value_last) < tol:
        break
#     梯度下降
    min_value_last = min_value
#     更新值:梯度下降
    min_value = min_value - learning_rate*d(min_value)
    count +=1
    print('+++++++++++++++++++++%d'%(count),min_value)
print('*********************',min_value)

# 输出结果
--------------------- 2
+++++++++++++++++++++1 1.95
+++++