tensorflow1.1/optimizer可视化

本文通过构建一个简单的神经网络模型,并使用四种不同的优化器(SGD、Momentum、RMSProp 和 Adam),在相同的数据集上进行训练。通过对比不同优化器在训练过程中的损失变化,直观展示各种优化器的性能差异。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

环境:tensorflow 1.1 python 3 matplotlib 2.02

#coding:utf-8
'''
tensorflow 1.1
python 3 
matplotlib 2.02
'''
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np

#设置随机种子
tf.set_random_seed(100)
np.random.seed(100)
learning_rate = 0.01
BATCH_SIZE = 32

#构造数据
x = np.linspace(-1,1,100)[:,np.newaxis] #列向量
noise = np.random.normal(0,0.1,x.shape)
y = np.power(x,3)+noise

#构建神经网络
class Neural_network:
    def __init__(self,optimizer,**kwargs):
        self.x = tf.placeholder(tf.float32,[None,1])
        self.y = tf.placeholder(tf.float32,[None,1])
        l1 = tf.layers.dense(self.x,10,tf.nn.relu)
        output = tf.layers.dense(l1,1)
        self.loss = tf.losses.mean_squared_error(self.y,output)
        self.train = optimizer(learning_rate,**kwargs).minimize(self.loss)

#定义不同的优化器
optimizer_SGD = Neural_network(tf.train.GradientDescentOptimizer)
optimizer_Momentum = Neural_network(tf.train.MomentumOptimizer,momentum=0.9)
optimizer_RMSProp = Neural_network(tf.train.RMSPropOptimizer)
optimizer_Adam = Neural_network(tf.train.AdamOptimizer)
optimizers = [optimizer_SGD,optimizer_Momentum,optimizer_RMSProp,optimizer_Adam]

with tf.Session() as sess:
    init = tf.global_variables_initializer()
    sess.run(init)
    #定义一个记录losses的list
    loss_record = [[],[],[],[]]
    for step in range(300):
        #random.randint(a,b.n) #提取a-b之间n个随机整数
        index = np.random.randint(0,x.shape[0],BATCH_SIZE)
        #每次使用不同的数据训练神经网络得到losses
        train_x = x[index]
        train_y = y[index] 
        #zip()将优化器和loss组成字典
        for opti,loss_r in zip(optimizers,loss_record):         
            _,l = sess.run([opti.train,opti.loss],feed_dict={opti.x:train_x,opti.y:train_y})
            loss_r.append(l)

    #绘图
    labels = ['SGD','Momentum',"RMSProp",'Adam']
    #enumerate()枚举类型
    for i,loss_r in enumerate(loss_record):
        plt.plot(loss_r,label=labels[i])
    plt.legend(loc='best')
    plt.xlabel('steps')
    plt.ylabel('loss')
    plt.ylim((0, 0.2)) #设置y轴范围
    plt.show()  
<think>嗯,用户想用TensorFlow实现数字和汉字识别,需要教程。首先,我得确认用户的需求是同时处理数字和汉字,还是分开的两个任务。根据用户的问题,可能是指两个不同的项目,一个是手写数字识别,另一个是汉字识别。接下来,我需要回忆之前提供的引用内容,看看有没有相关的代码示例或方法。 引用1、2、3都是关于MNIST数字识别的,特别是使用TensorFlow的例子。引用4和5提到了中文数字和汉字识别,但数据来源不同,比如chinese_mnist.csv和特定的汉字数据集。用户可能需要分步骤的指导,分别处理数字和汉字。 首先,数字识别部分相对成熟,MNIST数据集是标准入门教程。应该先介绍如何加载MNIST数据,构建CNN模型,训练和评估。这部分可以引用之前的代码示例,比如引用3中的数据加载和可视化,引用2中的模型构建。 然后是汉字识别部分,这里的数据集可能不是标准的MNIST,可能需要用户自己处理。比如引用4提到的chinese_mnist.csv,或者引用5中的140个常用汉字数据集。需要指导用户如何加载这些数据,可能涉及图像预处理、调整大小、归一化等步骤。模型方面,可能需要更深的CNN,或者参考论文中的架构,如引用5提到的Deep Convolutional Network。 用户可能遇到的问题包括数据集的获取、模型结构的选择、训练过程中的调参等。需要提醒用户注意数据预处理的不同,比如汉字识别可能需要更大的图像尺寸或更多的类别。另外,训练汉字识别可能需要更多的计算资源,如GPU加速。 可能还需要比较数字和汉字识别的异同,比如数字是10类,而汉字可能有几百类,模型复杂度更高。数据增强技术可能对汉字识别更有帮助,比如旋转、平移等。 最后,用户可能需要代码示例,所以需要确保提供的代码符合TensorFlow 2.x的语法,使用Keras API,因为旧的示例可能使用placeholder等已弃用的方法。同时,检查引用中的代码是否需要更新,比如引用3中的from tensorflow.examples.tutorials.mnist可能在较新版本中不可用,需要调整使用tf.keras.datasets.mnist代替。 总结回答结构:分数字识别和汉字识别两部分,每部分包括数据集准备、模型构建、训练评估、可视化。代码示例要更新到最新API,注意事项和常见问题也需要提及。相关的问题可以引导用户深入优化和应用场景。</think># TensorFlow实现手写数字/汉字识别分步教程 ## 一、手写数字识别实现(MNIST数据集) ### 1. 数据准备 ```python import tensorflow as tf # 加载数据集(TensorFlow 2.x新方式) (train_img, train_label), (test_img, test_label) = tf.keras.datasets.mnist.load_data() # 数据预处理 train_img = train_img.reshape(-1,28,28,1).astype('float32') / 255.0 test_img = test_img.reshape(-1,28,28,1).astype('float32') / 255.0 ``` ### 2. 构建CNN模型 ```python model = tf.keras.Sequential([ tf.keras.layers.Conv2D(32, (3,3), activation='relu', input_shape=(28,28,1)), tf.keras.layers.MaxPooling2D((2,2)), tf.keras.layers.Flatten(), tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dense(10, activation='softmax') ]) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) ``` ### 3. 训练与评估 $$ \text{准确率} = \frac{\text{正确预测数}}{\text{总样本数}} \times 100\% $$ ```python history = model.fit(train_img, train_label, epochs=5, validation_split=0.2) test_loss, test_acc = model.evaluate(test_img, test_label) print(f'测试准确率:{test_acc:.4f}') ``` ### 4. 可视化预测 ```python import matplotlib.pyplot as plt plt.figure(figsize=(10,5)) for i in range(5): plt.subplot(1,5,i+1) plt.imshow(test_img[i].reshape(28,28), cmap='gray') plt.title(f'预测:{tf.argmax(model.predict(test_img[i:i+1])[0])}') plt.show() ``` ## 二、手写汉字识别实现 ### 1. 数据集准备(以CASIA-HWDB为例) ```python # 数据集结构示例 dataset_path = 'path/to/HWDB1.1/' image_size = 64 # 汉字识别需要更大的分辨率 def load_hwdb_dataset(dataset_path): # 需要自行实现数据加载逻辑 # 返回格式:(images, labels) pass ``` ### 2. 深度卷积网络架构(参考论文改进) ```python model = tf.keras.Sequential([ tf.keras.layers.Conv2D(64, (3,3), activation='relu', input_shape=(64,64,1)), tf.keras.layers.MaxPooling2D((2,2)), tf.keras.layers.Conv2D(128, (3,3), activation='relu'), tf.keras.layers.MaxPooling2D((2,2)), tf.keras.layers.Flatten(), tf.keras.layers.Dense(512, activation='relu'), tf.keras.layers.Dropout(0.5), tf.keras.layers.Dense(140, activation='softmax') # 假设140个汉字类别 ]) ``` ### 3. 数据增强策略 $$ \text{增强后的图像} = T(\text{原始图像}),\ T\in\{\text{旋转,平移,缩放}\} $$ ```python data_augmentation = tf.keras.Sequential([ tf.keras.layers.RandomRotation(0.1), tf.keras.layers.RandomZoom(0.1), tf.keras.layers.RandomTranslation(0.1, 0.1) ]) ``` ## 三、关键差异对比 | 特征 | 数字识别 | 汉字识别 | |------------|------------------|--------------------| | 输入尺寸 | 28×28 | 64×64~128×128 | | 类别数 | 10 | 100~5,000+ | | 网络深度 | 3-5层 | 10层以上 | | 训练时间 | 分钟级 | 小时/天级 | | 数据增强 | 可选 | 必需 | ## 四、常见问题解决方案 1. **准确率提升瓶颈**:尝试增加卷积层通道数(如从32→64→128) 2. **过拟合问题**:添加Dropout层(建议比率0.3-0.5) 3. **训练速度慢**:使用混合精度训练 ```python tf.keras.mixed_precision.set_global_policy('mixed_float16') ``` ## 五、扩展应用方向 - 数字识别:支票识别[^3]、验证码识别 - 汉字识别:古籍数字化[^5]、手写笔记识别
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值