交叉熵损失&&PPL困惑度计算

最新推荐文章于 2025-02-28 14:22:06 发布
最新推荐文章于 2025-02-28 14:22:06 发布
阅读量2k 收藏 25
点赞数 19
分类专栏： LLM DeepLearning 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Maxcu/article/details/137214649
版权
本文详细介绍了交叉熵损失的概念，以及其在二分类和多分类问题中的计算方法。同时，困惑度（PPL）被解释为模型预测能力的度量，用于评估模型的准确性。通过最小化交叉熵损失，模型训练旨在减小预测分布与真实分布的差异，而低困惑度表明模型预测的准确性和稳定性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

交叉熵损失&&PPL困惑度计算

交叉熵损失

熵（Entropy）是信息论中的一个核心概念，它量化了一个随机变量的不确定性或信息内容。交叉熵（Cross Entropy）进一步发展了这个概念，用于衡量两个概率分布之间的差异。
L = − 1 N ∑ i = 1 N y i , c log ⁡ P ( y ^ i , c ) L = -\frac{1}{N} \sum_{i=1}^{N} y_{i,c} \log P(\hat{y}_{i,c}) L=−N1​i=1∑N​yi,c​logP(y^​i,c​

最低0.47元/天 解锁文章
LLMs之PPL：解读多个权威文档(比如huggingface)中对PPL(困惑度)的定义、PPL的多种计算方式、多种代码实现
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-04 3090
​ LLMs之PPL：解读多个权威文档(比如huggingface)中对PPL(困惑度)的定义、PPL的多种计算方式、代码实现 目录 Chinese-LLaMA-Alpaca-2项目中的PPL代码实现 两种近似算法计算固定长度语言模型的困惑度 文章地址：https://huggingface.co/docs/transformers/perplexity Perplexity of fixed-length models固定长度模型困困惑度 PPL是GPT-St
大语言模型应用指南：神经网络的三要素——网络结构、激活函数和损失函数
AI天才研究院
07-13 1027
大规模预训练：利用海量的文本数据进行无监督学习，让模型学习语言的统计规律。自回归语言建模：模型通过预测下一个单词来学习语言结构。注意力机制：使用自注意力机制来捕捉序列中的长距离依赖关系。迁移学习：预训练的模型可以通过微调适应各种下游任务。模型规模和性能的显著提升：从BERT到GPT-3，模型参数从数亿增长到数千亿。预训练方法的创新：从单向语言模型到双向模型，再到生成式预训练。迁移学习能力的增强：预训练模型可以快速适应各种下游任务。
困惑度（Perplexity）
彬彬侠的博客
02-03 1909
困惑度（Perplexity，简称 PP）是自然语言处理（NLP）中评估语言模型性能的一种常见度量。它反映了语言模型对给定文本的预测能力。简而言之，困惑度是 语言模型对文本的“不确定性” 或 “混乱度” 的度量，数值越低，说明模型对文本的预测能力越强。
从交叉熵角度理解困惑度（perplexity）
qq_41775769的博客
12-08 4559
从交叉熵理解困惑度 我们通常使用**困惑度（perplexity）来评价语言模型的好坏。通过理解困惑度，也可以让我们更加深入的理解交叉熵（CrossEntropy）**的意义，也可以轻易量化模型的性能。 回顾交叉熵以及多分类问题的损失函数。假设现有 NNN 个数据样本，其中样本的标签为 Yi(i=1,2,⋯ ,N)Y_i(i=1,2,\cdots,N)Yi​(i=1,2,⋯,N)，而模型对样本的预测值记为 Yi^(i=1,2,⋯ ,N)\widehat{Y_i}(i=1,2,\cdots,N)Yi​​(i=
【LLM-1】PPL困惑度计算
最新发布
m0_69378371的博客
02-28 1149
PPL 可以理解为“语言模型对于一个给定文本的困惑程度”。它与模型对给定句子的概率估计有关，数值越低，表示语言模型对文本的预测越准确。PPL2HpPPL2Hp其中，( H§ ) 是语言模型的交叉熵（Cross-Entropy）Hp−1N∑i1Nlog⁡pwi∣w1w2wi−1Hp−N1​i1∑N​logpwi​∣w1​w2​wi−1​。
困惑度与交叉熵的关系
weixin_46532327的博客
12-09 383
困惑度（Perplexity）和交叉熵（Cross-Entropy）是自然语言处理（NLP）中常用的两个概念，它们之间有密切的关系。
机器学习：什么是困惑度？从信息熵和交叉熵谈起
JacksonKim的博客
12-15 3316
信息量和信息熵 https://blog.youkuaiyun.com/hearthougan/article/details/76192381 http://www.ruanyifeng.com/blog/2014/09/information-entropy.html 信息熵和交叉熵有什么关系吗？ https://www.cnblogs.com/kyrieng/p/8694705.html 信息熵和困惑度的关系 https://www.zhihu.com/question/58482430 ...
交叉熵
weixin_43310928的博客
01-22 1034
交叉熵
LLM(大语言模型)常用评测指标-困惑度（Perplexity）
qq_36485259的博客
03-11 6803
困惑度（Perplexity）是自然语言处理（NLP）中常用的一种评估语言模型的指标。它衡量的是模型对测试数据的预测能力，即模型对测试集中单词序列出现概率的预测准确度。困惑度越低，表示模型对数据的预测越准确。
pytorch ppl
09-19
PyTorch PPL（Perplexity，困惑度）是用于评估语言模型性能的指标。它是交叉熵损失的指数函数。在PyTorch中，可以使用`F.cross_entropy`函数来计算交叉熵损失，然后使用`torch.exp`函数对损失进行指数化得到PPL。 ...
大语言模型原理与工程实践：手把手教你训练 7B 大语言模型 主要模块介绍
AI天才研究院
08-04 736
大语言模型原理与工程实践：手把手教你训练 7B 大语言模型 主要模块介绍 1. 背景介绍 近年来,随着计算能力的提升和训练数据的增长,大语言模型(Large Language Model,LLM)取得了突破性的进展。从 GPT-3 到 PaLM,再到
PPL计算1
08-03
(1). 021033210023: log10 PPL = 1.2166224866923079, PPL = 16.467303381304372 (2).
如何计算文本的困惑度perplexity(ppl)
热门推荐
qq_52852138的博客
07-31 1万+
本文关注在Pytorch中如何计算困惑度ppl, 为什么能用cross-entropy loss 代表ppl。
遇见PPL：C++ 的并行和异步
cpongo5
07-25 536
\并行计算正弦值\假设我们有一个数组，里面包含一组随机生成的浮点数，现在要计算每个浮点数对应的正弦值，如果你看过我的《遇见C++ Lambda》，你可能会想到用for_each函数，如代码1所示。为了可以把数组里的浮点数替换成对应的正弦值，我们需要把Lambda的参数声明为引用，如果你想保留那些浮点数，可以创建一个新的数组存放计算结果。\\代码 1\值得提醒的是，这里使用begin和end两个函数...
困惑度PPL (perplexity)
hxxjxw的博客
07-31 1万+
PPL是用在自然语言处理领域（NLP）中，衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize。 PPL越小越好 公式为： S – 当前句子； N – 句子长度； p(wi) – 第i个词的概率 p(wi|w1w2w3…wi-1) – 这个表示基于前i-1个词，计算得出第i个词的概率，但有的语言模型是可以利用双向的，不知道是不是会这样计算：p(wi|w1w2w3…wn) ； ppl越小，p(wi)则越大，也就是说这...
PPL代码
m0_61688615的博客
05-17 1757
针对文本中的词预测任务来说，离散概率分布p的困惑度由下式给出，其中H(p) 是该分布的熵，x遍历事件空间。根据PPL两种不同的计算公式，有两种不同的代码实现。实现一：使用perplexity的。：将每个位置上的概率取对数再平均。
语言模型和ppl
knight的博客
07-26 7058
语言模型的ppl计算公式：
构建语言模型（二）：模型训练与评估
lujian1989的专栏
12-13 8883
Ngram语言模型的训练与评估
LDA模型困惑度计算公式
07-14
困惑度的计算公式通常基于交叉熵，对于LDA模型来说，其困惑度\( perplexity(PPL) \)可以表示为： \[ PPL = 2^{-\frac{1}{N}\sum_{i=1}^{N}\log p(w_i | D)} \] 这里： - \( N \) 是文档总数； - \( w_i \) 是文档...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值