tensorflow1.1/optimizer可视化

本文通过构建一个简单的神经网络模型,并使用四种不同的优化器(SGD、Momentum、RMSProp 和 Adam),在相同的数据集上进行训练。通过对比不同优化器在训练过程中的损失变化,直观展示各种优化器的性能差异。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

环境:tensorflow 1.1 python 3 matplotlib 2.02

#coding:utf-8
'''
tensorflow 1.1
python 3 
matplotlib 2.02
'''
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np

#设置随机种子
tf.set_random_seed(100)
np.random.seed(100)
learning_rate = 0.01
BATCH_SIZE = 32

#构造数据
x = np.linspace(-1,1,100)[:,np.newaxis] #列向量
noise = np.random.normal(0,0.1,x.shape)
y = np.power(x,3)+noise

#构建神经网络
class Neural_network:
    def __init__(self,optimizer,**kwargs):
        self.x = tf.placeholder(tf.float32,[None,1])
        self.y = tf.placeholder(tf.float32,[None,1])
        l1 = tf.layers.dense(self.x,10,tf.nn.relu)
        output = tf.layers.dense(l1,1)
        self.loss = tf.losses.mean_squared_error(self.y,output)
        self.train = optimizer(learning_rate,**kwargs).minimize(self.loss)

#定义不同的优化器
optimizer_SGD = Neural_network(tf.train.GradientDescentOptimizer)
optimizer_Momentum = Neural_network(tf.train.MomentumOptimizer,momentum=0.9)
optimizer_RMSProp = Neural_network(tf.train.RMSPropOptimizer)
optimizer_Adam = Neural_network(tf.train.AdamOptimizer)
optimizers = [optimizer_SGD,optimizer_Momentum,optimizer_RMSProp,optimizer_Adam]

with tf.Session() as sess:
    init = tf.global_variables_initializer()
    sess.run(init)
    #定义一个记录losses的list
    loss_record = [[],[],[],[]]
    for step in range(300):
        #random.randint(a,b.n) #提取a-b之间n个随机整数
        index = np.random.randint(0,x.shape[0],BATCH_SIZE)
        #每次使用不同的数据训练神经网络得到losses
        train_x = x[index]
        train_y = y[index] 
        #zip()将优化器和loss组成字典
        for opti,loss_r in zip(optimizers,loss_record):         
            _,l = sess.run([opti.train,opti.loss],feed_dict={opti.x:train_x,opti.y:train_y})
            loss_r.append(l)

    #绘图
    labels = ['SGD','Momentum',"RMSProp",'Adam']
    #enumerate()枚举类型
    for i,loss_r in enumerate(loss_record):
        plt.plot(loss_r,label=labels[i])
    plt.legend(loc='best')
    plt.xlabel('steps')
    plt.ylabel('loss')
    plt.ylim((0, 0.2)) #设置y轴范围
    plt.show()  
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值