一个简单损失函数

原创于 2017-11-25 11:15:49 发布 · 529 阅读

0 ·

CC 4.0 BY-SA版权

Neural Networks 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了深度学习中常用的交叉熵损失函数的定义及实现过程，包括使用 TensorFlow 进行张量操作的具体步骤，如数值范围限制、对数运算、元素相乘等，并展示了如何通过 Adam 优化器来最小化损失。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

损失函数：刻画当前预测值和真实值之间的差距。

import tensorflow as tf  

#定义损失函数-交叉熵
#说明：
#1.tf.clip_by_value(v,a,b)函数：将一个张量中的数值限制在一个范围之内。（本博客有具体讲解。）
#2.tf.log函数：对张量中所有元素依次求对数
#3.y_*tf.log(tf.clip_by_value(v,1e-10,1.0)) 元素之间直接相乘
#前三步计算得到的结果是一个n*m的二维矩阵；n：一个batch中样例的数量，m：分类的类别数量。
#4.tf.reduce_mean()函数：求平均值
cross_entropy=-tf.reduce_mean(y_*tf.log(tf.clip_by_value(v,1e-10,1.0)))

#定义学习率
learning_rate=0.001

#定义优化器
train_step=tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy)