tensorflow中Adam优化器运用

tensorflow中Adam优化器运用

Adam优化器引用API：tensorflow.keras.optimizers.Adam

 

 代码实现：

#Adam

#求一阶动量和二阶动量

m_w = beta1 * m_w + (1 - beta1) * grads[0] #求一阶动量m_w，和SGDM一阶动量表达式一样

m_b = beta1 * m_b + (1 - beta1) * grads[1] #求一阶动量m_b，和SGDM一阶动量表达式一样

v_w = beta2 * v_w + (1 - beta2) * tf.square(grads[0]) #求二阶动量v_w,和RMSprop的二阶动量表达式一样

v_b = beta2 * v_b + (1 - beta2) * tf.square(grads[1]) #求二阶动量b_b,和RMSprop的二阶动量表达式一样

#求修正项

m_w_correction = m_w / (1 -tf.pow(beta1, int(global_step))) #对一阶动量m_w除以一个式子得到修正项m_w_correction

m_b_correction = m_w / (1 -tf.pow(beta1, int(global_step))) #对一阶动量m_b除以一个式子得到修正项m_b_correction

v_w_correction = v_w / (1 -tf.pow(beta2, int(global_step))) #对一阶动量v_w除以一个式子得到修正项v_w_correction

v_b_correction = v_b / (1 -tf.pow(beta2, int(global_step))) #对一阶动量v_b除以一个式子得到修正项v_w_correction

#参数自更新

w1.assign_sub(learning_rate * m_w_correction / tf.sqrt(v_w_correction)) #参数w1自更新

b1.assign_sub(learning_rate * m_b_correction / tf.sqrt(v_b_correction)) #参数b1自更新)

Adam优化器实现iris数据集分类：

#导入模块
import tensorflow as tf #导入tensorflow模块

from sklearn import datasets #导入sklearn中的datasets模块，方便下载内置的iris数据集

from matplotlib import pyplot as plt #导入matplotlib中的pyplot，待会画图

import numpy as np #导入numpy模块做数学运算

import time #导入时间模块，用来计时

#导入数据
x_data = datasets.load_iris().data #导入iris数据集的特征

y_data = datasets.load_iris().target #导入iris数据集的标签

#随机打乱顺序，使训练更具准确性
np.random.seed(120)#调用numpy中的random方法里的seed方法，赋值120，使输入特征和标签能够一一对应

np.random.shuffle(x_data) #调用numpy中的random方法里的shuffle方法，将训练集x_data里的特征值乱序

np.random.seed(120)#调用numpy中的random方法里的seed方法，赋值120，使输入特征和标签能够一一对应

np