tensorflow2中损失函数四个交叉熵函数的异同点

最新推荐文章于 2024-11-18 16:36:09 发布
最新推荐文章于 2024-11-18 16:36:09 发布
阅读量395 收藏
点赞数
分类专栏： 深度学习 tensorflow 文章标签： 深度学习 tensorflow 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zou_gr/article/details/115298110
版权

交叉熵

我们常用于分类问题的损失函数，具体的数学我们就不展开讲，这篇文章主要就是介绍在tensorflow2中，四个损失函数用起来有什么区别？

四个交叉熵函数

tf.keras.losses.BinaryCrossentropy()
tf.keras.losses.binary_crossentropy
tf.keras.losses.categorical_crossentropy
tf.keras.losses.CategoricalCrossentropy

首先我们从函数名就可以知道 BinaryCrossentropy()和binary_crossentropy是一类的，这两个都是二分类的交叉熵，categorical_crossentropy和CategoricalCrossentropy是多分类的交叉熵，至于为什么二分类和多分类的交叉熵表大不一样，这个就要回到数学了。我们下面通过一个案例来看一下具体的用法。

案例

在这里插入图片描述
我们可以清楚的看到其实二分类交叉熵的两个函数返回的值是一样，但是调用的方式不一样，BinaryCrossentropy函数是以对象的形式调用的，而binary_crossentropy是正常的函数调用方式，多分类的也是一样的。
推荐还是使以对象的形式进行调用，可以简便代码并且会有意想不到的效果。

《机器学习系列教程》：第二章 机器学习基础
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
07-13 1648
第二章 机器学习基础 机器学习and 数据分析 2.2 监督学习、非监督学习、半监督学习、弱监督学习？ 根据数据类型的不同，对一个问题的建模有不同的方式。依据不同的学习方式和输入数据，机器学习主要分为以下四种学习方式。 监督学习： 监督学习是使用已知正确答案的示例来训练网络。已知数据和其一一对应的标签，训练一个智能算法，将输入数据映射到标签的过程。 监督式学习的常见应用场景如分类问题和...
tensorflow2.x学习笔记十八：损失函数之交叉熵
耐心的小黑的博客
03-21 1781
下面都是我自己的一些简单的总结，如果有错误的地方，还请大家指出来。 一、BinaryCrossentropy类和binary_crossentropy函数 BinaryCrossentropy类的使用： tf.keras.losses.BinaryCrossentropy( from_logits=False, label_smoothing=0, reduction=losse...
tensorflow中常用交叉熵损失函数(cross_entropy)的比较总结与代码示例
01-20
本文将对以下几种tensorflow中常用的交叉熵损失函数进行比较： tf.losses.sigmoid_cross_entropy tf.nn.sigmoid_cross_entropy_with_logits tf.losses.softmax_cross_entropy tf.nn.softmax_cross_entropy_with_logits_v2 tf.losses.sparse_softmax_cross_entropy 1. tf.losses.sigmoid_cross_entropy import tensorflow as tf batch_size = 4
TensorFlow tf.keras.losses.BinaryCrossentropy
Claroja
08-11 4959
cross-entropy loss L=−[ylog y^+(1−y)log (1−y^)]L=-[ylog\ \hat y+(1-y)log\ (1-\hat y)]L=−[ylog y^​+(1−y)log (1−y^​)] y为真实值，y^\hat yy^​为预测，交叉熵损失函数可以衡量y与y^\hat yy^​的相似性。 cross-entropy...
不同背景下不同交叉熵公式的异和同
剑启郁兰的博客
07-26 562
文章目录交叉熵公式的几个问题对上述问题的几点结论对于结论的一些子解答 交叉熵公式的几个问题 本小白在学习过程中在很多地方都遇到过交叉熵公式，一般我们遇到的是这样的： C1=−1n∑x[yln⁡a+(1−y)ln⁡(1−a)] C1 = -\frac{1}{n}\sum_{x}[y\ln a+(1-y)\ln (1-a)] C1=−n1​x∑​[ylna+(1−y)ln(1−a)] 然而在学习cs2...
深度学习框架TensorFlow学习与应用（三）——使用交叉熵作为代价函数
JluTiger316的博客
11-13 2063
在TensorFlow中用： tf.nn.sigmoid_cross_entropy_with_logits()来表示跟sigmoid搭配使用的交叉熵。 tf.nn.softmax_cross_entropy_with_logits()来表示跟softmax搭配使用的交叉熵。
tensorflow 几种交叉熵损失函数
qq_39068872的博客
06-09 1910
交叉熵损失函数是用来计算分类问题的损失值的,常用的有以下三种 tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, name=None) argument: _sentinel:本质上是不用的参数，不用填 logits:一个数据类型（type）是float32或float64; shap...
PyTorch验证集监控策略：构建自定义回调函数的进阶技巧
!...构建自定义回调函数的进阶技巧]...# 1. PyTorch深度学习与验证集基础 深度学习在数据科学领域已经成为了不可或缺的技术之一，其中PyTorch以其动态计算图和易用性成为了许多研究人员和开发者的首选框架。...
总结了200道经典的机器学习面试题（附参考答案）
small-guo
07-01 8128
刷题，是面试前的必备环节。本文总结了往年BAT机器学习面试题，干货满满，值得收藏。想要入职大厂可谓是千军万马过独木桥。为了通过层层考验，刷题肯定是必不可少的。本文根据网络在线发布的BAT机器学习面试1000题系列，整理了一份面试刷题宝典。1.请简要介绍下SVM。SVM，全称是support vector machine，中文名叫支持向量机。SVM是一个面向数据的分类算法，它的目标是为确定一个分类超平面，从而将不同的数据分隔开。扩展：支持向量机学习方法包括构建由简至繁的模型：线性可分支持向量机、线性支持向量机
《通往人工智能深度学习专家之路：全面解析学习路线图》：此文为AI自动生成
最新发布
zheng_ruiguo的专栏
11-18 1576
人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。深度学习是机器学习的一种，通过使用多层神经网络来模拟人类大脑的学习过程，从而实现对数据的自动分类和预测。深度学习在人工智能中占据着重要地位，是实现人工智能的重要技术手段之一。它通过构建深层次的神经网络模型，利用大量数据进行训练，从而能够自动学习和发现数据中的规律和特征，为人工智能提供了强大的数据分析和处理能力，推动了人工智能在图像识别、自然语言处理、语音识别等领域的发展。
深度学习常见问题整理
wooyang2018的博客
01-21 2041
问题列表 如何设置网络的初始值？* 梯度爆炸的解决办法*** 神经网络（MLP）的万能近似定理* 神经网络中，深度与宽度的关系，及其表示能力的差异** 在深度神经网络中，引入了隐藏层（非线性单元），放弃了训练问题的凸性，其意义何在？** 稀疏表示，低维表示，独立表示* 局部不变性（平滑先验）及其在基于梯度的学习上的局限性* 为什么交叉熵损失相比均方误差损失能提高以 sigmoid 和 softmax 作为激活函数的层的性能？** 分段线性单元（如 ReLU）代替 sigmoid 的利弊*** 在做正则化
tensorflow2.x里面BinaryCrossentropy的实现
sdhdsf132452的博客
03-17 294
Lossytrue×−logsigmoidypred))1−ytrue×−log1−sigmoidypred))（这是基于y_pred是logits的情况，如果已经经过了sigmoid就不需要再用sigmoid处理了）如果有多个batch_size，取平均值。
Pytorch二元交叉熵损失函数种类及接口
Nick
03-13 2862
之前学了很久的Tensorflow，最近也在研究Pytorch，对损失函数的部分做以下的总结。本文只介绍二分类的二元交叉熵损失。这里不考虑batchsize的情况。只聚焦于公式本身和接口。 在人工智能模型应用的层面，根据目标的不同，大致可分为两类：1 回归， 2 分类 一、回归模型 最常用的损失函数：MSE(mean squared error) 公式如下： ym是真实的函数值，是你的模型预测的函数值。M代表 预测的样本个数。 二、 分类模型 首先，需要明确，不同的Pytorc...
[TensorFlow 2] [Keras] 自定义 loss 函数
Xovee
06-13 7096
本文介绍了一种利用 Keras 自定义 loss 函数的方法。
tensorflow小技巧--binary_crossentropy与BinaryCrossentropy的区别
yftadyz的博客
07-02 7996
tf.keras.losses下面有两个长得非常相似的损失函数，binary_crossentropy(官网传送门)与BinaryCrossentropy(官网传送门)。从官网介绍来看，博主也没看出这两个损失函数有什么区别，直到今天才明白过来，不多说，直接上代码： #set loss func loss=tf.losses.BinaryCrossentropy() 这样声明一个损失函数是没有问题的。 loss=tf.losses.binary_crossentropy() TypeError: binar
tf.keras.losses详解
LeeG_IOT的博客
08-22 8283
tf.keras.losses实例是用来计算真实标签（ y_true ）和预测标签之间（ y_pred ）的loss损失。 参数：from_logits：是否将 y_pred 解释为 logit 值的张量。 默认情况下，假设 y_pred 包含概率（即 [0, 1] 中的值）。即默认情况下from_logits的值为False 解释一下logit值的含义：逻辑回归一般将因变量二分类变量的0-1转变为频率[0,1]，变成odds（优势比，[0,+∞]），然后log一下成为Logit值([-∞,+∞])，简
TensorFlow - 信息论( 交叉熵及代码实现 Cross entropy)
二分掌柜的
01-30 1758
TensorFlow - 信息论( 交叉熵及代码实现 Cross entropy) flyfish 信息熵 H=−∑i(pi⋅log2(pi))" role="presentation" style="position: relative;">H=−∑i(pi⋅log2(pi))H=−∑i(pi⋅log2(pi))H=-\sum_{i}({p_{i}
TensorFlow2.0_交叉熵原理简介
RL小站
05-15 1021
文章目录一、香农熵1.1 香农熵原理公式1.2 香农熵tf示例二、交叉熵（Cross Entropy）2.1 交叉熵原理公式2.2 one-hot下交叉熵的变形 一、香农熵 1.1 香农熵原理公式 在将交叉熵的时，先讲一下熵。 H(P)=−∑pilog2piH(P) = -\sum{p_ilog_2{p_i}}H(P)=−∑pi​log2​pi​ 熵越大，代表不确定性越大，信息也就越大。 1.2 香农熵tf示例 比如： 对于一个三分类：真实标签(one-hot之后) y_true = [0, 1, 0
tensorflow2选择损失函数容易混淆的点
霜剑道人
03-11 611
损失函数封装在tensorflow.keras.losses包 计算二元分类的交叉熵 binary_crossentropy BinaryCrossentropy 可调用对象，一般自定义训练时使用 计算多分类问题的交叉熵 categorical_crossentropy 当label是one-hot编码时使用 CategoricalCrossentropy 可调用对象，一般自定义训练...
tensorflow中的损失函数
09-22
TensorFlow中有多种自带的损失函数，用于不同类型的问题。以下是一些常见的损失函数及其用途： 1. 均方根误差（MSE）：用于回归问题，衡量预测值与真实值之间的平均平方差。使用tf.losses.mean_squared_error函数来计算。 2. 交叉熵损失函数：用于分类问题，衡量预测值与真实值之间的差异。常见的交叉熵损失函数包括二元交叉熵（tf.losses.sigmoid_cross_entropy）和多类交叉熵（tf.losses.softmax_cross_entropy）。具体的选择取决于分类问题的类型。 3. 铰链损失函数：用于支持向量机（SVM）中，主要用于二元分类。使用tf.losses.hinge_loss函数来计算。 4. KL散度损失函数：用于测量两个概率分布之间的差异。使用tf.losses.kl_divergence函数来计算。 5. 平均绝对误差（MAE）：用于回归问题，衡量预测值与真实值之间的平均绝对差。使用tf.losses.absolute_difference函数来计算。 这只是一小部分TensorFlow中可用的损失函数，具体使用哪种损失函数取决于你所解决的问题的类型和需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值