二分类问题的交叉熵函数和多分类问题的交叉熵函数

二分类问题的交叉熵损失函数;

   在二分类问题中,损失函数为交叉熵损失函数。对于样本(x,y)来讲,x为样本 y为对应的标签。在二分类问题中,其取值的集合可能为{0,1},我们假设某个样本的真实标签为yt,该样本的yt=1的概率为yp,则该样本的损失函数为:

                    log(yt|yp) = - (yt*log(yp) + (1 - yt)log(1 - yp))  

如果对于整个数据集上的模型而言:其损失函数就是所有样本的点的损失函数的平均值。

多分类的问题的函数交叉熵损失函数:

在多分类问题中,损失函数也是交叉熵损失函数,对于样本(x,y)来讲,y是真实的标签,预测标签为所有标签的集合,我们假设有k个标签值,第i个样本预测为第K个标签的概率为pi,k,一共有N个样本,则总的数据集损失函数为:

                        

### 稀疏分类交叉熵损失函数的原理 稀疏分类交叉熵(Sparse Categorical Crossentropy)是一种用于多类分类问题损失函数,尤其适用于目标类别是以整数形式表示的情况。它通过计算预测概率分布与真实标签之间的差异来衡量模型性能。具体来说,假设对于某个样本 \(i\) 的真实标签为 \(y_i\) (取值范围为 \([0, K-1]\),\(K\) 表示总类别数),而模型对该样本的预测概率向量为 \(\hat{y}_i = [\hat{p}_{i,0}, \hat{p}_{i,1}, ..., \hat{p}_{i,K-1}]\),则该样本对应的稀疏分类交叉熵定义如下: \[ L_{sparse}(y_i, \hat{y}_i) = -\log(\hat{p}_{i,y_i}) \] 这意味着仅考虑真实标签对应位置上的预测概率,并对其取负对数作为损失[^3]。 相比于 `Categorical Crossentropy` 需要将真实标签转换成 one-hot 编码的形式输入,`Sparse Categorical Crossentropy` 可以直接接受整数值作为标签,从而节省内存开销并简化操作流程[^4]。 --- ### 原理图解释 为了更好地理解稀疏分类交叉熵的工作机制,可以通过以下方式可视化其过程: #### 图解说明 1. **输入数据结构** - 模型输出:经过 softmax 层后的概率分布向量 \(\hat{y}\)。 例如,对于三分类问题,可能有 \(\hat{y} = [0.2, 0.7, 0.1]\)。 - 真实标签:单个整数索引 \(y\),指示正确类别的位置。 例如,在上述例子中如果实际类别是第二类,则 \(y=1\)。 2. **选取特定项** 根据真实标签 \(y\) 提取出预测概率向量中相应位置的概率值 \(\hat{p}_{y}\)。继续以上述实例为例,当 \(y=1\) 时,提取出的是第二个分量即 \(\hat{p}=0.7\)。 3. **计算损失** 对选出的概率应用自然对数运算后再乘以负号完成最终求值步骤: \[ L=-\ln(0.7)\approx0.3567 \] 以下是基于 Python Matplotlib 绘制的一个简单示意图形展示这一概念: ```python import numpy as np import matplotlib.pyplot as plt def sparse_categorical_crossentropy(y_true, y_pred): """ 计算稀疏分类交叉熵 """ p_y_given_x = y_pred[np.arange(len(y_true)), y_true] log_likelihood = -np.log(p_y_given_x.clip(min=1e-8)) return log_likelihood.mean() # 示例数据 y_true = np.array([1]) # 正确类别 (one hot 中的 index) y_pred = np.array([[0.2, 0.7, 0.1]]) # 软件最大层输出的概率分布 loss_value = sparse_categorical_crossentropy(y_true, y_pred) print(f"Sparse Categorical Cross Entropy Loss: {loss_value}") # 绘制图像 fig, ax = plt.subplots() ax.bar(range(len(y_pred[0])), y_pred[0], color='blue', alpha=0.7, label="Predicted Probabilities") ax.axhline(y=np.max(y_pred[0]), linestyle="--", color="red", linewidth=1, label=f"Correct Class Probability ({round(np.max(y_pred[0]), 2)})") ax.set_xticks(range(len(y_pred[0]))) ax.set_title("Sparse Categorical CrossEntropy Visualization") ax.legend(loc="upper right") plt.show() ``` 此脚本先定义了一个手动版本的稀疏分类交叉熵函数用来验证理论公式的准确性;接着创建了一组假想的数据集模拟实际情况下的预测结果及其相应的真值标注情况;最后利用图表工具形象化地表达了各个部分的关系以及重点突出所选中的那个条目相对于整体而言的重要性程度如何影响整个系统的评判标准——也就是所谓的“损失”。 --- ###
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值