Tensorflow学习——神经网络优化

最新推荐文章于 2023-04-13 11:54:58 发布

原创最新推荐文章于 2023-04-13 11:54:58 发布 · 387 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#AI #Tensorflow #神经网络

ML&DL&RL 专栏收录该内容

7 篇文章

订阅专栏

神经元模型：用数学公式表示为：?(∑????? + ?)，f 为激活函数。神经网络是以神经元为基本单元构成的。

激活函数：引入非线性激活因素，提高模型的表达力。

常用的激活函数有 relu、sigmoid、tanh 等。
① 激活函数 relu: 在 Tensorflow 中，用 tf.nn.relu()表示
在这里插入图片描述
② 激活函数 sigmoid：在 Tensorflow 中，用 tf.nn.sigmoid()表示

③ 激活函数 tanh：在 Tensorflow 中，用 tf.nn.tanh()表示

神经网络的复杂度：可用神经网络的层数和神经网络中待优化参数个数表示

神经网路的层数：一般不计入输入层，层数 = n 个隐藏层 + 1 个输出层

神经网路待优化的参数：神经网络中所有参数 w 的个数 + 所有参数 b 的个数

如：
在这里插入图片描述
在该神经网络中，包含 1 个输入层、1 个隐藏层和 1 个输出层，该神经网络的层数为 2 层。
在该神经网络中，参数的个数是所有参数 w 的个数加上所有参数 b 的总数，第一层参数用三行四列的
二阶张量表示（即 12 个线上的权重 w）再加上 4 个偏置 b；第二层参数是四行两列的二阶张量（）即
8 个线上的权重 w）再加上 2 个偏置 b。总参数 = 34+4 + 42+2 = 26。

损失函数（loss）：用来表示预测值（y）与已知答案（y_）的差距。在训练神经网络时，通过不断改变神经网络中所有参数，使损失函数不断减小，从而训练出更高准确率的神经网络模型。

常用的损失函数有均方误差、自定义和交叉熵等。

均方误差 mse：n 个样本的预测值 y 与已知答案 y_之差的平方和，再求平均值。
在这里插入图片描述

在 Tensorflow 中用 loss_mse = tf.reduce_mean(tf.square(y_ - y))
如：
预测酸奶日销量 y，x1 和 x2 是影响日销量的两个因素。
应提前采集的数据有：一段时间内，每日的 x1 因素、x2 因素和销量 y_。采集的数据尽量多。
在本例中用销量预测产量，最优的产量应该等于销量。由于目前没有数据集，所以拟造了一套数据集。利用 Tensorflow 中函数随机生成 x1、 x2，制造标准答案 y_ = x1 + x2。

import tensorflow as tf
import numpy as np
BATCH_SIZE = 8
seed = 23455

rdm = np.random.RandomState(seed)
X = rng.rand(32,2)
Y_ = [[x1+x2+(rdm.rand()/10.0-0.05)] for (x1,x2) in X]

#定义神经网络的输入、参数和输出，定义前向传播过程。
x  = tf.placeholder(tf.float32, shape=(None,2))
y_= tf.placeholder(tf.float32, shape=(None,1))
w1=tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))
y = tf.matmul(x,w1)

#定义损失函数及反向传播方法
loss_mse = tf.reduce_mean(tf.square(y_-y))
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss)

with tf.Session() as sess:
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    STEPS = 20000
    for i in range(STEPS)
        start = (i*BATCH_SIZE) % 32
        end = (i*BATCH_SIZE) % 32 + BATCH_SIZE
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
        if i % 500 == 0
           print "After %d training steps, w1 is:" %(i)
           print sess.run(w1), "\n"
   print "Final w1 is: \n", sess.run(w1)

由上述代码可知，本例中神经网络预测模型为 y = w1x1 + w2x2，损失函数采用均方误差。通过使损失函数值（loss）不断降低，神经网络模型得到最终参数 w1=0.98，w2=1.02，销量预测结果为 y = 0.98 * x1 +1.02 * x2。由于在生成数据集时，标准答案为 y = x1 + x2，因此，销量预测结果和标准答案非常接近。

自定义损失函数：根据问题的实际情况，定制合理的损失函数。
例如：
对于预测酸奶日销量问题，如果预测销量大于实际销量则会损失成本；如果预测销量小于实际销量则会损失利润。在实际生活中，往往制造一盒酸奶的成本和销售一盒酸奶的利润是不等价的。因此，需要使用符合该问题的自定义损失函数。

自定义损失函数为：loss = ∑??(y_,y)
其中，损失定义成分段函数：
f(y_,y) = { ?????? ∗ (?_ − ?) ? < ?_ ???? ∗ (? − ?_) ? >= ?_
损失函数表示，若预测结果 y 小于标准答案 y_，损失函数为利润乘以预测结果 y 与标准答案 y_之差；
若预测结果 y 大于标准答案 y_，损失函数为成本乘以预测结果 y 与标准答案 y_之差。
用 Tensorflow 函数表示为：

loss = tf.reduce_sum(tf.where(tf.greater(y,y_),COST(y-y_),PROFIT(y_-y)))

交叉熵(Cross Entropy)：表示两个概率分布之间的距离。交叉熵越大，两个概率分布距离越远，两个概率分布越相异；交叉熵越小，两个概率分布距离越近，两个概率分布越相似。

交叉熵计算公式：?(?_ , ?) = −∑?_ ∗ ??? ?

用 Tensorflow 函数表示为

ce= -tf.reduce_mean(y_* tf.log(tf.clip_by_value(y, 1e-12, 1.0)))

如：
两个神经网络模型解决二分类问题中，已知标准答案为 y_ = (1, 0)，第一个神经网络模型预测结果为y1=(0.6, 0.4)，第二个神经网络模型预测结果为 y2=(0.8, 0.2)，判断哪个神经网络模型预测的结果更接近标准答案？

根据交叉熵的计算公式得：
H1((1,0),(0.6,0.4)) = -(1log0.6 + 0log0.4) ≈ -(-0.222 + 0) = 0.222
H2((1,0),(0.8,0.2)) = -(1log0.8 + 0log0.2) ≈ -(-0.097 + 0) = 0.097
由于 0.222>0.097，所以预测结果 y2 与标准答案 y_更接近，y2 预测更准确。

softmax 函数：将 n 分类的 n 个输出（y1,y2…yn）变为满足以下概率分布要求的函数。
在这里插入图片描述
softmax 函数表示为：

softmax 函数应用：在 n 分类中，模型会有 n 个输出，即 y1,y2…yn，其中 yi 表示第 i 种情况出现的可能性大小。将 n 个输出经过 softmax 函数，可得到符合概率分布的分类结果。

在 Tensorflow 中，一般让模型的输出经过 sofemax 函数，以获得输出分类的概率分布，再与标准答案对比，求出交叉熵，得到损失函数，用如下函数实现：

ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1)) 
cem = tf.reduce_mean(ce)

学习率 learning_rate：表示了每次参数更新的幅度大小。学习率过大，会导致待优化的参数在最小值附近波动，不收敛；学习率过小，会导致待优化的参数收敛缓慢。

在训练过程中，参数的更新向着损失函数梯度下降的方向。

参数的更新公式为： ??+? = ?? − ????????_?????
假设损失函数为 loss = (w + 1)*2。梯度是损失函数 loss 的导数为∇=2w+2。如参数初值为 5，学习率为 0.2，则参数和损失函数更新如下：

1 次       参数 w：5             5 - 0.2 * (2 * 5 + 2) = 2.6 
2 次       参数 w：2.6           2.6 - 0.2 * (2 * 2.6 + 2) = 1.16 
3 次       参数 w：1.16          1.16 – 0.2 * (2 * 1.16 + 2) = 0.296 
4 次       参数 w：0.296

损失函数 loss = (w + 1)2的图像为：
在这里插入图片描述

指数衰减学习率：学习率随着训练轮数变化而动态更新

学习率计算公式如下：
在这里插入图片描述
用 Tensorflow 的函数表示为：

global_step = tf.Variable(0, trainable=False) 
learning_rate = tf.train.exponential_decay( 
LEARNING_RATE_BASE,  
global_step,  
LEARNING_RATE_STEP, LEARNING_RATE_DECAY,  
staircase=True/False)

其中，LEARNING_RATE_BASE 为学习率初始，LEARNING_RATE_DECAY 为学习率衰减率,global_step 记录了当前训练轮数，为不可训练型参数。学习率 learning_rate 更新频率为输入数据集总样本数除以每次喂入样本数。若 staircase 设置为 True 时，表示 global_step/learning rate step 取整数，学习率阶梯型衰减；若 staircase 设置为 false 时，学习率会是一条平滑下降的曲线。

滑动平均：记录了一段时间内模型中所有参数 w 和 b 各自的平均值。利用滑动平均值可以增强模型的泛化能力。

滑动平均值（影子）计算公式：
影子 = 衰减率 * 影子 +（1 - 衰减率）* 参数
其中，
在这里插入图片描述
用 Tesnsorflow 函数表示为：

ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY，global_step)

其中，MOVING_AVERAGE_DECAY 表示滑动平均衰减率，一般会赋接近 1 的值，global_step 表示当前训练了多少轮。

ema_op = ema.apply(tf.trainable_variables())

其中，ema.apply()函数实现对括号内参数求滑动平均，tf.trainable_variables()函数实现把所有待训练参数汇总为列表。

with tf.control_dependencies([train_step, ema_op]): 
      train_op = tf.no_op(name='train')

其中，该函数实现将滑动平均和训练过程同步运行。
查看模型中参数的平均值，可以用 ema.average()函数。

过拟合：神经网络模型在训练数据集上的准确率较高，在新的数据进行预测或分类时准确率较低，说明模型的泛化能力差。

正则化：在损失函数中给每个参数 w 加上权重，引入模型复杂度指标，从而抑制模型噪声，减小过拟合。
使用正则化后，损失函数 loss 变为两项之和：
loss = loss(y 与 y_) + REGULARIZER*loss(w)
其中，第一项是预测结果与标准答案之间的差距，如之前讲过的交叉熵、均方误差等；第二项是正则化计算结果。

正则化计算方法：
① L1 正则化： ?????? = ∑?|??|
用 Tesnsorflow 函数表示:

loss(w) = tf.contrib.layers.l1_regularizer(REGULARIZER)(w)

② L2 正则化： ?????? = ∑?|??|?
用 Tesnsorflow 函数表示:

loss(w) = tf.contrib.layers.l2_regularizer(REGULARIZER)(w)

用 Tesnsorflow 函数实现正则化：

tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(regularizer)(w) 
loss = cem + tf.add_n(tf.get_collection('losses'))