cross-entropy函数

最新推荐文章于 2025-02-16 09:25:34 发布
最新推荐文章于 2025-02-16 09:25:34 发布
阅读量494 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hang__xiu2016acm/article/details/77936562
我们理想情况是让神经网络学习更快

假设简单模型: 只有一个输入,一个神经元,一个输出

简单模型: 输入为1时, 输出为0


初始 w = 0.6, b = 0.9   初始预测的输出 a = 0.82, 需要学习
学习率: 0.15

演示: 




初始: w = 2.0, b = 2.0, 初始预测输出: 0.98, 和理想输出0差点很远
演示:



神经网络的学习行为和人脑差的很多, 开始学习很慢, 后来逐渐增快.

为什么?

学习慢 => 偏导数 ∂C/∂w 和 ∂C/∂b 值小

计算偏导数:

回顾之前学习的Cost函数:
对于一个x, y 和单个神经元:
分别对w和b求偏导数:

  x = 1, y = 0


回顾sigmoid函数

 当神经元输出接近1时, 曲线很平缓, 
=>
 很小, 所以学习很慢

如何增快学习?

介绍cross-entropy cost 函数

假设一个稍微复杂一些的神经网络


    
定义cross-entropy函数:


为什么可以用来做cost函数?
1.  函数值大于等于0 (验证)
2.  当a=y时, cost = 0





用sigmoid函数定义

推出:


 代入 上面的偏导, 得到:


学习的快慢取决于 

也就是输出的error

好处: 错误大时,更新多,学得快. 错误小时,学习慢


对于偏向也类似:

用cross-entropy 演示:

w = 0.6, b = 0.9


w = 2.0, b = 2.0

与之前的二次cost比较
学习率=0.005, 但是不是重点, 主要是速度的变化率, 也就是曲线的形状不同. 

以上是对于一个单个神经元的cost, 对于多层:

以上把输出层所有的神经元的值加起来

总结:

cross-entropy cost几乎总是比二次cost函数好

如果神经元的方程是线性的, 用二次cost函数 (不会有学习慢的问题)






【深度学习】损失函数 理解 Cross-Entropy Loss, Binary Cross-Entropy Loss
q742971636的博客
04-16 3692
文章目录1 前言2 sigmoid激活函数 与 Softmax激活函数3 Cross-Entropy Loss二分类：sigmoid激活函数+Cross-Entropy Loss多分类：softmax激活函数+Cross-Entropy Loss 一篇好文：https://gombru.github.io/2018/05/23/cross_entropy_loss/ 1 前言 计算CE Loss 之前需要加softmax层，适用于多类预测 Multi-Class Classification，类间存在竞争关
YOLOv5系列(三十七) 深度理解Binary Cross-Entropy与YOLOv5 LOSS(从二值损失基本原理到YOLOv5损失)
专注于人工智能学习，总结
12-05 2075
的目标越少，则认为结果越精确；
交叉熵函数
weixin_42924890的博客
01-21 3185
交叉熵损失函数的定义和计算公式。torch中交叉熵损失函数的用法和公式理解。自己实现代码熟悉交叉熵函数计算的过程。
TensorFlow交叉熵函数(cross_entropy)的理解
anshiquanshu的专栏
03-13 907
内容参考：Tensorflow四种交叉熵函数计算公式：tf.nn.cross_entropyTensorFlow四种Cross Entropy算法实现和应用 交叉熵（Cross Entropy） 交叉熵（Cross Entropy）是Loss函数的一种（也称为损失函数或代价函数），用于描述模型预测值与真实值的差距大小，常见的Loss函数就是均方平方差（Mean Squared Error），定义如下。 注意：tensorflow交叉熵计算函数输入中的logits都不是softma..
cross-entropy
qq_963157144的博客
08-25 613
定义 cross-entropy函数 以前的Cost 函数 对比与总结 补充： 利用cross-entropy cost代替quadratic cost来获得更好的收敛 ——说白了，就是cross-entropy cost比quadratic ...
pytorch中的cross_entropy函数
Q_M_X_D_D_的博客
10-14 1万+
cross_entropy函数是pytorch中计算交叉熵的函数。输入主要包括两部分，一个是维度为（batch_size，class）的向量，class表示分类的数量，这个就表示模型预测的分类结果；另一个是维度为（batch_size）的一维矩阵，表示每个样本的真实分类。输出的就是交叉熵的值。 交叉熵 交叉熵是常见的损失函数，公式如下： 其中y是真实分类，是通过softmax处理后的模型预测分类。在上面说了函数的输入分别是（batch_size，cl...
神经网络中cross-entropy函数
u010999741的专栏
05-08 597
看这博文的，应该都知道机器学习中常见的交叉熵损失函数；下面这个是神经网络中的交叉熵函数，也就是当输出为one-hot编码以及类似的拥有多个输出神经元的形式，防止有时怀疑自己是不是记错，可以借此文回忆一下。 ...
【机器学习】分类问题-交叉熵（Cross-Entropy）
IT古董
12-02 2695
交叉熵是机器学习中用于衡量两个概率分布之间差异的一种损失函数，广泛用于分类问题（如逻辑回归、多分类神经网络）。交叉熵损失直接来源于信息论，特别适合概率建模问题。交叉熵作为一种衡量概率分布差异的工具，不仅在分类任务中表现优异，还为概率建模问题提供了坚实的理论基础。
【漫话机器学习系列】094.交叉熵（Cross-Entropy）
IT古董
02-16 1606
在机器学习和深度学习中，交叉熵（Cross-Entropy）是一种常见的损失函数，广泛用于分类任务，特别是二分类和多分类问题。交叉熵的核心思想是衡量两个概率分布之间的差异，并通过最小化这个差异来优化模型，使预测结果尽可能接近真实分布。掌握交叉熵的概念，对优化分类模型和理解概率分布的学习过程至关重要！
MATLAB算法实战应用案例精讲-【数模应用】交叉熵损失函数（Cross-entropy loss function）
qq_36130719的博客
07-05 736
交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。交叉熵在分类问题中常常与softmax是标配，softmax将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。
caffe 加权交叉熵损失函数 SigmoidCrossEntropyLoss
12-24
论文中"Holistically-Nested Edge Detection"使用的加权损失函数，具体用法见博客http://blog.youkuaiyun.com/majinlei121/article/details/78884531
torch.nn.functional.cross_entropy（交叉熵）使用
qq_36892712的博客
04-14 9996
是用于计算交叉熵损失函数的函数。它的输出是一个表示给定输入的损失值的张量。具体地说，函数与类是相似的，但前者更适合于控制更多的细节，并且不需要像后者一样在前面添加一个Softmax层。。input：(N, C)形状的张量，其中N为Batch_size，C为类别数。该参数对应于神经网络最后一个全连接层输出的未经Softmax处理的结果。target：一个大小为(N,)张量，其值是0
CrossEntropy（交叉熵损失函数pytorch）
xiaziqiqi的博客
07-03 3680
weight， 为一维张量，具体的大小为M，M为样本的标签数量，代表赋予的类别的权重ignore_index，int类型数据，用于指定忽略某个类别的索引。默认为 -100，表示不忽略任何类别。reduction：指定损失函数的计算方式。可选项包括：‘none’（不返回每个样本的损失值）、‘mean’（返回每个样本的平均损失值）、‘sum’（返回每个样本的总损失值）。N，代表了N个样本LiL_{i}Li​，为某个样本的对应损失函数的值yiy_{i}yi​。
叉熵损失函数(Cross Entropy)
August-us的博客
03-25 2万+
叉熵损失函数（Cross Entropy）   我们在逻辑回归算法中引入了交叉熵函数，但是上一次，我并没有对交叉熵损失函数做一个详细的解释。这里就补上。损失函数又叫做误差函数，用来衡量算法的运行情况.在分类中，都是和分类错误的数量正相关的，分类错误越多，损失也就越大。   我们在逻辑回归中引出，交叉熵，当时说的是如果分错一个类别，就会产生损失。J(θ)=y^lny+(1−y^)ln(1−y)J(θ...
深度学习笔记(四)：Cross-entropy损失函数
风筝的专栏
05-17 2万+
改进的Cost函数Cross-entropy使神经网络学习更快 神经网络是如何学习的 神经网络学习过程(Cost的变化情况) 为什么神经网络会出现一开始学习很慢后来学习变快的情况呢 介绍cross-entropy 损失函数（cost function） 演示cross-entropy损失函数的学习情况 总结: 改进的Cost函数Cross-entropy使神经网络学习更快...
【pytorch】交叉熵损失函数 F.cross_entropy()
十一月廿七风雨大作
02-04 1万+
F.cross_entropy(x,y)   cross_entropy(x,y)是交叉熵损失函数，一般用于在全连接层之后，做loss的计算。   其中x是二维张量，是全连接层的输出；y是样本标签值。x[batch_size,type_num];y[batch_size]。   cross_entropy(x,y)计算结果是一个小数，表示loss的值。 举例说明 x = np.array([[1, 2,3,4,5],#共三3样本，有5个类别 [1, 2,3,4,5], .
【代价函数】Cross_entropy：交叉熵损失函数（Cross_entropy loss）
yuanCruise
08-27 1万+
1.Cross_entropy公式及导数推导 损失函数： a=σ(z), where z=wx+b 利用SGD等算法优化损失函数，通过梯度下降法改变参数从而最小化损失函数： 对两个参数权重和偏置进行求偏导： 推导过程如下(关于偏置的推导是一样的)： Note：这个推导中利用了sigmoid激活函数求导，才化简成最后的结果的。sigmoid求导详解 2.分析交叉熵...
损失函数——交叉熵损失函数（CrossEntropy Loss）
热门推荐
weixin_45665708的博客
12-16 11万+
损失函数——交叉熵损失函数（CrossEntropy Loss） 交叉熵函数为在处理分类问题中常用的一种损失函数，其具体公式为： 1.交叉熵损失函数由来 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。首先我们来了解几个概念。 1.1信息量 信息论奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “六
Binary Cross-Entropy Loss, BCELoss
最新发布
03-09
### Binary Cross-Entropy Loss (BCELoss) 的定义 Binary Cross-Entropy Loss 是一种用于二分类问题的损失函数，在机器学习领域广泛应用。该损失函数衡量的是预测概率分布与真实标签之间的差异程度。对于单个样本而言，如果 \( y \in {0, 1} \)，则 BCE 可表示为： \[ L(y,\hat{y})=-\left[y\log(\hat{y})+(1-y)\log(1-\hat{y})\right] \] 其中 \( y \) 表示真实的类别标签（0 或者 1），\( \hat{y} \) 则代表模型给出的概率估计值。 当处理多个训练样例时，则通常会计算所有样例上的平均损失作为最终的目标函数来优化[^4]。 ### 使用场景 此损失函数特别适用于那些输出可以被解释为某个事件发生的概率的任务中，比如垃圾邮件检测、广告点击率预估等。它能够有效地惩罚错误分类的情况，并且随着预测值接近实际值而逐渐减小。 ### 实现例子 下面是一个简单的 Python 函数实现 binary cross entropy loss 计算过程: ```python import numpy as np def bce_loss(y_true, y_pred): """ Compute the binary cross-entropy loss between true labels and predicted probabilities. Args: y_true: Array-like structure containing actual class labels (either 0 or 1). y_pred: Array-like structure with corresponding probability estimates from model output. Returns: float: The computed average binary cross-entropy across all samples. """ epsilon = 1e-7 # To prevent log(0) y_pred_clipped = np.clip(y_pred, epsilon, 1 - epsilon) losses = -(y_true * np.log(y_pred_clipped) + (1 - y_true) * np.log(1 - y_pred_clipped)) return np.mean(losses) ``` 上述代码实现了对给定的真实标签 `y_true` 和预测概率 `y_pred` 进行 binary cross entropy loss 的计算，并返回这些样本上损失值得均值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值