tensorflow中RMSprop优化器运用

tensorflow中RMSprop优化器运用

RMSprop优化器引用API：tf.keras.optimizers.RMSprop

 

 

 代码实现：

#RMSprop

beta = 0.9 #定义超参数，经验值为0.9

v_w = beta * v_w + (1 - beta) * tf.square(grads[0]) #求二阶动量v_w

v_b = beta * v_b + (1 - beta) * tf.square(grads[1]) #求二阶动量v_b

w1.assign_sub(learning_rate * grads[0] / tf.sqrt(v_w)) #参数w1自更新

b1.assign_sub(learning_rate * grads[1] / tf.sqrt(v_b)) #参数b1自更新

 RMSprop优化器实现iris数据集分类： 

#导入模块
import tensorflow as tf #导入tensorflow模块

from sklearn import datasets #导入sklearn中的datasets模块，方便下载内置的iris数据集

from matplotlib import pyplot as plt #导入matplotlib中的pyplot，待会画图

import numpy as np #导入numpy模块做数学运算

import time #导入时间模块，用来计时

#导入数据
x_data = datasets.load_iris().data #导入iris数据集的特征

y_data = datasets.load_iris().target #导入iris数据集的标签

#随机打乱顺序，使训练更具准确性
np.random.seed(120)#调用numpy中的random方法里的seed方法，赋值120，使输入特征和标签能够一一对应

np.random.shuffle(x_data) #调用numpy中的random方法里的shuffle方法，将训练集x_data里的特征值乱序

np.random.seed(120)#调用numpy中的random方法里的seed方法，赋值120，使输入特征和标签能够一一对应

np.random.shuffle(y_data) #调用numpy中的random方法里的shuffle方法，将测试集y_data里的标签乱序

tf.random.set_seed(120)#调用tensorflow中的random方法里的set_seed方法，赋值120

#划分数据集
x_train = x_data[:-30] #将iris数据集（特征，共150行，此时已打乱）前120行作为训练集x_train

y_train = y_data[:-30] #将iris数据集（标签，共150行，此时已打乱）前120行作为训练集y_train

x_test = x_data[-30:] #将iris数据集（特征，共150行，此时已打乱）最后30行作为测试集x_test