困惑度PPL

最新推荐文章于 2025-04-12 19:26:34 发布
最新推荐文章于 2025-04-12 19:26:34 发布
阅读量3.8k 收藏 3
点赞数 6
分类专栏： NLP 文章标签： 困惑度 PPL 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ding_programmer/article/details/90141428
版权

语言模型中经常使用困惑度来作为语言模型的评价

对于一段 句子(sentence) s 由词构成，即： s=w_1w_2\cdot \cdot \cdot w_n ，w代表词

\large PPL(S)=P(w_1w_2 \cdot \cdot \cdot w_N)^{-1/N}

对两边都取 对数 则：

\large {\rm log} PPL(S)=\frac{-{\rm log}P(w_1w_2 \cdot \cdot \cdot w_N)}{N}=\frac{-\sum\limits_{i=1}^{N}{\rm log}P(w_1w_ 2\cdot \cdot \cdot w_{i-1})}{N}

所以：一般的困惑度越小，模型越好，应该尽可能找困惑度小的模型

LLMs之PPL：解读多个权威文档(比如huggingface)中对PPL(困惑度)的定义、PPL的多种计算方式、多种代码实现
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-04 3151
​ LLMs之PPL：解读多个权威文档(比如huggingface)中对PPL(困惑度)的定义、PPL的多种计算方式、代码实现 目录 Chinese-LLaMA-Alpaca-2项目中的PPL代码实现 两种近似算法计算固定长度语言模型的困惑度 文章地址：https://huggingface.co/docs/transformers/perplexity Perplexity of fixed-length models固定长度模型困困惑度 PPL是GPT-St
NLP知识点 - perplexity 困惑度
春天
12-13 4972
语言模型（language model）是用来预测句子中的next word的概率分布（probability distribution），并计算一个句子的概率。一个好的语言模型，应该给well-written 的句子更高的生成概率，阅读这些句子不应该让人感到困惑。比较这句话的概率与当前语言模型生成的其他句子的概率，来判定生成句子的好坏呢？答案是否定的，因为句子的最终概率是单词概率连乘得到的，所以随着句子长度的增加，概率会越来越小。因为是概率的倒数，所以困惑度越低，句子概率越高，语言模型就越好。
困惑度PPL (perplexity)
hxxjxw的博客
07-31 1万+
PPL是用在自然语言处理领域（NLP）中，衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize。 PPL越小越好 公式为： S – 当前句子； N – 句子长度； p(wi) – 第i个词的概率 p(wi|w1w2w3…wi-1) – 这个表示基于前i-1个词，计算得出第i个词的概率，但有的语言模型是可以利用双向的，不知道是不是会这样计算：p(wi|w1w2w3…wn) ； ppl越小，p(wi)则越大，也就是说这...
困惑度（Perplexity，简称PPL）在自然语言处理中的全面解析
最新发布
阿正的梦工坊
04-12 758
困惑度（Perplexity，简称PPL）是自然语言处理（NLP）和大语言模型（LLM）领域中常用的评估指标，用于衡量语言模型对文本的建模能力。通俗来说，困惑度反映了模型在预测下一个词时的“困惑”程度：困惑度越低，说明模型对文本的预测越准确，建模能力越强。
机器翻译, 文本生成等任务评价指标 BLEU, ROUGE, PPL(困惑度)
shawroad的博客
04-20 1万+
一:BLEU 1.1 BLEU 的全称是 Bilingual evaluation understudy，BLEU 的分数取值范围是 0～1，分数越接近1，说明翻译的质量越高。BLEU 主要是基于精确率(Precision)的，下面是 BLEU 的整体公式。 BLEU 需要计算译文 1-gram，2-gram，...，N-gram 的精确率，一般 N 设置为 4 即可，公式...
Perplexity
gowithme11123123的博客
01-10 5894
PPL(Perplexity) 是用在自然语言处理领域（NLP）中，衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize。
交叉熵损失&&PPL困惑度计算
Maxcu的博客
04-01 2121
交叉熵损失&&PPL困惑度计算
PPL计算1
08-03
**PPL计算详解** PPL（Perplexity）是自然语言处理中衡量语言模型性能的一个重要指标。它代表了模型预测一个序列的概率的几何平均数的倒数，数值越小，表示模型对数据的拟合程度越高。PPL计算的核心公式如下： \[ ...
语言模型 python实现uni-gram和bi-gram 使用ppl困惑度对比模型效果 山东大学2019 NLP实验1
qq_42813323的博客
03-13 9434
语言模型实验目的实验内容数据集Example: （每行数据是一段对话，句子间用__eou__分隔）实验环境欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图...
【评估指标】困惑度 Perplexity
藓类少女的博客
12-17 1272
（困惑度）是机器学习和自然语言处理中常用的一个概念，尤其在语言模型的评估中。它用于衡量一个模型对文本数据的预测能力，直观上表示模型对数据“不确定”的程度。
困惑度的估计
weixin_46532327的博客
12-06 1142
使用滑动窗口策略时，每次预测时模型能够使用更多的上下文，从而能够更好地近似真实的序列概率分解，通常会得到一个更好的困惑度得分。需要注意的是，这个指标专门适用于经典的语言模型（有时称为自回归模型或因果语言模型），而对于像BERT这样的掩码语言模型，则定义不太清楚（请参考模型总结）。但这种方法通常会给出较高（更差）的困惑度，因为在大多数预测步骤中，模型只能看到较少的上下文。如果没有模型上下文长度的限制，我们可以通过自回归地分解序列，并在每一步都对前面的整个子序列进行条件预测来评估模型的困惑度。
用python计算lda语言模型的困惑度并作图
04-19
用python计算lda语言模型的困惑度并作图
如何计算文本的困惑度perplexity(ppl)
qq_52852138的博客
07-31 1万+
本文关注在Pytorch中如何计算困惑度ppl, 为什么能用cross-entropy loss 代表ppl。
语言模型困惑度的两种形式及python实现
dianyanxia的博客
07-26 3098
转 语言模型困惑度的两种形式及python实现 - 海晨威的文章 - 知乎 https://zhuanlan.zhihu.com/p/57852713 在自然语言处理中，对于一个语言模型，一般用困惑度来衡量它的好坏，困惑度越低，说明语言模型面对一句话感到困惑的程度越低，语言模型就越好。 在网上关于语言模型困惑度的介绍文章中，一般会看到以下两种形式： ...
【判别式评测(PPL)与生成式评测(GEN)对比说明】
一休
10-11 1104
【代码】【判别式评测(PPL)与生成式评测(GEN)对比说明】
困惑度perplexity
lhyyhlfornew的博客
10-18 1947
看了网上许多对困惑度的解释看的我相当困惑，各种公式什么的也看不明白，总结其中最简单直观的解释是：困惑度反应的是你的模型对预测下一个字符时有多少可选项，困惑度越低说明你的模型对下一个字符预测的把握越大，比如当困惑度为20时说明你的模型在预测下一个字符时它有20个选项，然后它就很困惑要选哪个毕竟有20个选项都很有可能是正确的，当困惑度接近1时说明你的模型预测下一个字符只有一个可选项，这从侧面也反映你的...
利用Srilm简单进行语言模型估计并进行困惑度测试
在大海里翱翔的猪
11-25 1092
利用Srilm进行简单语言模型估计并进行困惑度测试 1、 srilm主要用来估计语言模型，并对该模型进行评价。估计是从训练数据中得到一个语言模型，而评价是计算该语言模型的困惑度。 2、 实验先从训练数据文件data.txt生成n-gram计数文件data_count2.count： ngram-count -text data.txt -order 2 -write data_count2.cou...
NLP基础知识点：困惑度（Perplexity）
热门推荐
梆子井欢喜坨的博客
04-30 2万+
词序列的条件概率越高，困惑度越低。因此，根据语言模型，最小化困惑相当于最大化测试集概率。 公式如下： 困惑度可以理解为，如果每个时间步都根据语言模型计算的概率分布随机挑词，（假设所有的词出现的概率相同）那么平均情况下，挑多少个词才能挑到正确的那个。 ...
Python中的困惑度计算
与其临渊羡鱼,不如退而结网
05-29 1453
通常情况下，困惑度越低，代表语言模型的预测能力越好。在自然语言处理任务中，如语音识别、机器翻译、文本生成等场景下，困惑度的计算是非常重要的步骤。最后，我们给出一个简单的例子，演示如何使用上述函数计算一个句子的困惑度。在实际应用中，我们通常需要大量的数据来训练一个准确的语言模型，并使用它来计算困惑度以评估模型的性能。下面我们将使用Python来演示如何计算语言模型的困惑度。该函数接受一个由n个词组成的句子的概率分布作为输入，并返回其困惑度。该结果表明，该模型对于该句子的语言模型预测能力较弱。
主题困惑度
03-17
### 主题困惑度的定义与计算 主题困惑度是一种衡量概率模型预测能力的方法，通常用于评估自然语言处理中的主题建模效果。它表示模型对于未见数据的不确定性程度。较低的主题困惑度意味着模型能够更好地捕捉到文档中的潜在结构。 主题困惑度可以通过以下公式计算[^1]： \[ PPL = \exp{\left(-\frac{1}{N} \sum_{i=1}^{N} \log P(w_i | M)\right)} \] 其中 \( N \) 是测试集中单词总数，\( w_i \) 表示第 \( i \) 个单词，\( P(w_i | M) \) 是模型给定该单词的概率估计。 --- ### 如何降低主题困惑度 为了有效降低主题困惑度并提高模型的表现力，可以采用以下几种技术： #### 1. 增加训练数据量 更多的高质量训练数据可以帮助模型更全面地理解语料库中的分布特性，从而减少对未知样本的不确定性和误差。 #### 2. 调整超参数 通过优化诸如隐含层维度、学习率以及迭代次数等超参数设置来改进模型拟合的效果。例如，在LDA（Latent Dirichlet Allocation）模型中调整主题数量K或者平滑参数α和β可能会显著影响最终的结果质量。 #### 3. 使用预训练模型 利用大规模通用领域上的预训练嵌入向量作为初始化权重输入至特定任务下的神经网络架构之中，这不仅加快收敛速度而且还能增强泛化性能。 #### 4. 应用正则化手段 引入Dropout机制防止过拟合现象发生；同时也可以尝试加入KL散度项约束先验分布与后验分布之间的距离以促进更加合理的主题分配。 ```python import numpy as np def calculate_perplexity(log_probs, total_words): """ 计算困惑度。 参数: log_probs (list): 测试集上每个词的日志似然值列表。 total_words (int): 测试集中总词数。 返回: float: 迷惑度得分。 """ avg_log_prob = sum(log_probs) / total_words perplexity = np.exp(-avg_log_prob) return perplexity ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值