梯度下降与梯度上升

目录

 

梯度

导包

方程

画图

对f求导

求解导数令导数=0求解最小值

梯度下降求解最小值

用lambda表示求导后的方程

设置学习率

梯度下降找最优值

梯度上升找最大值

函数二,有最大值

更新规则

将每一步怎么走的过程画出来 ,加入result[]

画图


梯度

梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。

导包

import numpy as np

import matplotlib.pyplot as plt
%matplotlib inline

方程

 

lambda函数
f = lambda x : (x - 3)**2 + 2.5*x -7.5

画图

x = np.linspace(-2,5,100)

y = f(x)

plt.plot(x,y)

对f求导

求解导数令导数=0求解最小值

 

梯度下降求解最小值

用lambda表示求导后的方程

# 导数函数
d = lambda x : 2*(x - 3) + 2.5

设置学习率

# 学习率,每次改变数值的时候,改变多少
learning_rate = 0.1

梯度下降找最优值

# min_value瞎蒙的值,方法,最快的速度找到最优解(梯度下降)
min_value = np.random.randint(-3,5,size = 1)[0]
print('-------------------',min_value)
# 记录数据更新了,原来的值,上一步的值,退出条件
min_value_last = min_value + 0.1
# tollerence容忍度,误差,在万分之一,任务结束
tol = 0.0001

count = 0
while True:
    if np.abs(min_value - min_value_last) < tol:
        break
#     梯度下降
    min_value_last = min_value
#     更新值:梯度下降
    min_value = min_value - learning_rate*d(min_value)
    count +=1
    print('+++++++++++++++++++++%d'%(count),min_value)
print('**********************',min_value)

梯度上升找最大值

函数二,有最大值

f2 = lambda x : -(x - 3)**2 + 2.5*x -7.5
x = np.linspace(-2,10,100)

y = f2(x)

plt.plot(x,y)

# 梯度提升
# 导数函数

result = []

d2 = lambda x : -2*(x - 3) + 2.5

learning_rate = 10

# max_value瞎蒙的值,方法,最快的速度找到最优解(梯度下降)
# 梯度消失,梯度爆炸(因为学习率太大)
max_value = np.random.randint(2,8,size = 1)[0]
# max_value = 1000

result.append(max_value)

print('-------------------',max_value)
# 记录数据更新了,原来的值,上一步的值,退出条件
max_value_last = max_value + 0.001
# tollerence容忍度,误差,在万分之一,任务结束
# precision精确度,精度达到了万分之一,任务结束
precision = 0.0001
count = 0
while True:
    if count >3000:
        break
    if np.abs(max_value - max_value_last) < precision:
        break
#     梯度上升
    max_value_last = max_value
#     更新值:梯度上升
    max_value = max_value + learning_rate*d2(max_value)
    result.append(max_value)
    count +=1
    print('+++++++++++++++++++++%d'%(count),max_value)
print('**********************',max_value)

更新规则

# 更新规则
ret = ret - ret*step

将每一步怎么走的过程画出来 ,加入result[]

# 梯度提升
# 导数函数


d2 = lambda x : -2*(x - 3) + 2.5

learning_rate = 0.1

# max_value瞎蒙的值,方法,最快的速度找到最优解(梯度下降)
# 梯度消失,梯度爆炸(因为学习率太大)
max_value = np.random.randint(2,8,size = 1)[0]
# max_value = 1000

result.append(max_value)

print('-------------------',max_value)
# 记录数据更新了,原来的值,上一步的值,退出条件
max_value_last = max_value + 0.001
# tollerence容忍度,误差,在万分之一,任务结束
# precision精确度,精度达到了万分之一,任务结束
precision = 0.0001
count = 0
while True:
    
    if np.abs(max_value - max_value_last) < precision:
        break
#     梯度上升
    max_value_last = max_value
#     更新值:梯度上升
    max_value = max_value + learning_rate*d2(max_value)
    result.append(max_value)
    count +=1
    print('+++++++++++++++++++++%d'%(count),max_value)
print('**********************',max_value)

 

画图

plt.figure(figsize=(12,9))
x = np.linspace(4,8,100)

y = f2(x)

plt.plot(x,y)
##列表无法参加运算,将它转化为np

result = np.asarray(result)

plt.plot(result,f2(result),'*')

越接近最大值,斜率就越靠近0。leaning_rate设置太大,步子太大,一下就迈过去了。学习率给太大,会造成梯度爆炸,太小会造成梯度消失。

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值