TensorFlow学习DAY3二次代价函数和交叉熵函数

二次代价函数（quadratic cost）

其中C表示代价函数，x表示样本，y表示实际值，a表示输出值，x表示样本的总数。为了简单起见，同样一个样本为例进行说明，此时二次代价函数为：

假如我们使用梯度下降法（Gradient descent）来调整权值参数的大小，权值w和偏置b的梯度推导如下：

其中，z表示神经元的输入，表示激活函数。w和b的梯度跟激活函数的梯度成正比，激活函数的梯度越大，w和b的大小调整得越快，训练收敛得就越快。

推导过程：

• 先对C求对w的偏导，w在z里面，z在a里面，相当于求a对w的偏导
• 对z求导，把w去掉留下x

• 假如在B点位置，导数（梯度）几乎为0，w和b就没什么变化
• 假如我们的目标是收敛到1，A点为0.82离目标比较远，梯度比较大，权值调整比较大。B点为0.98离目标比较近，梯度比较小，权值调整比较小。调整方案合理。
• 假如我们的目标是收敛到0，A点为0.82离目标比较近，梯度比较大，权值调整比较大。B点为0.98离目标比较远，梯度比较小，权值调整比较小。调整方案不合理。

---

交叉熵代价函数（cross-entropy）：

换一个思路，我们不改变激活函数，而是改变代价函数，改用交叉熵代价函数：

其中，C表示代价函数，x表示样本，y表示实际值，a表示输出值，n表示样本的总数。

w和b对C的偏导推导如下：

得出

• 权值和偏置值的调整与激活函数的导数(z)无关，另外，梯度公式中的(z)-y表示输出值与实际值的误差。所以当误差越大时，梯度就越大。参数w和b的调整就越快，训练的速度也就越快。这就符合我们的预想，误差越大，调整越快；误差越小，调整越小，防止步子太大扯到蛋。
• 如果输出神经元是线性的，那么二次代价函数就是一种合适的选择。如果输出神经元是S型函数，那么比较适合用交叉熵代价函数。

---

对数释然代价函数（log-likelihood cost）

• 对数释然函数常用来作为softmax回归的代价函数，如果输出层神经元是sigmoid函数，可以采用交叉熵代价函数。而深度学习中更普遍的做法是将softmax作为最后一层，此时常用的代价函数是对数释然代价函数。
• 对数似然代价函数与softmax的组合和交叉熵与sigmoid函数的组合非常相似。对数释然代价函数在二分类时可以化简为交叉熵代价函数的形式。
• 在Tensorflow中用：

tf.nn.sigmoid_cross_entropy_with_logits()来表示跟sigmoid搭配使用的交叉熵。

tf.nn.softmax_cross_entropy_with_logits()来表示跟softmax搭配使用的交叉熵。

修改MNIST代码如下：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

#载入数据集
mnist = input_data.read_data_sets("MNIST_data",one_hot=True)

#每个批次的大小
batch_size = 100
#计算一共有多少个批次
n_batch = mnist.train.num_examples // batch_size

#定义两个placeholder
x = tf.placeholder(tf.float32,[None,784])
y = tf.placeholder(tf.float32,[None,10])

#创建一个简单的神经网络
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
prediction = tf.nn.softmax(tf.matmul(x,W)+b)

#二次代价函数
# loss = tf.reduce_mean(tf.square(y-prediction))
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
#使用梯度下降法
train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss)

#初始化变量
init = tf.global_variables_initializer()

#结果存放在一个布尔型列表中
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))#argmax返回一维张量中最大的值所在的位置
#求准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

with tf.Session() as sess:
    sess.run(init)
    for epoch in range(21):
        for batch in range(n_batch):
            batch_xs,batch_ys =  mnist.train.next_batch(batch_size)
            sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys})
        
        acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
        print("Iter " + str(epoch) + ",Testing Accuracy " + str(acc))

使用交叉熵，输出结果如下

对比二次代价函数

可见，二次代价函数在迭代8次后正确率才达到90%，而交叉熵只需要迭代3次即可达到90%。

非常容易可看出，交叉熵迭代速度会快很多，迭代次数会变少。

得出结论：在适合的时候使用交叉熵作为代价函数，效果会好很多。