困惑的认识

Fried_potatoes Fried_potatoes 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 500+累计阅读 537平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄12年
关注
原创 最新推荐文章于 2026-02-23 02:58:54 发布 537 阅读 AI 写同款· GEO 优化 ›
NLP基础知识点：困惑度（Perplexity） 词序列的条件概率越高，困惑度越低。因此，根据语言模型，最小化困惑相当于最大化测试集概率。 公式如下： 困惑度可以理解为，如果每个时间步都根据语言模型计算的概率分布随机挑词，（假设所有的词出现的概率相同）那么平均情况下，挑多少个词才能挑到正确的那个。 ... 阅读详情
对于上一个困惑，我注意到，如果把每一个层都建成一个类的话，会细致的更改每个层的代码，而场景无非就是一个框架而已。
收录于
cocos2dx_2.X

当前文章被收录于：

cocos2dx_2.X
11 篇文章 0 人学习
订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
LDA计算 perplexity（困惑度）确定主题个数（代码） 为了计算LDA 的困惑度，费劲千辛万苦，终于有所收获，以此记录。 本篇文章主要介绍perplexity的计算方式，并未涉及过多的困惑度原理，想了解更多原理部分，请移步perplexity介绍 本文主要是对Perplexity per word进行困惑度计算，公式： 以下是实现代码(工具pycharm、Python3.7)，分了三个部分 1.LDA的主题生成 from ge... 阅读详情

相关推荐

LDA模型困惑度计算出现的问题

LDA程序使用的是JGibbLDA 读theta文件，构造theta二维矩阵。 读phi文件，构造phi二维矩阵。 读tassign文件，得到每篇文本的词数Nd，继而得到测试集的总词数Nsum；并根据tassign文件构造每篇文本所有词组成的词表。 编程实现，根据tassign文件构造测试集每篇文本中所有词组成的词表，根据该词表（Map形式，存储的是每篇文本所有出现的词的词id（词不排重）），得到...

liaoqiangdan9345的博客 7936

python下进行lda主题挖掘(三)——计算困惑度perplexity

训练好LDA主题模型后，如何评价模型的好坏？能否直接将训练好的模型拿去应用？这是一个比较重要的问题，在对模型精度要求比较高的项目或科研中，需要对模型进行评价。一般来说，LDA模型的主题数量都是需要需要根据具体任务进行调整的，即要评价不同主题数的模型的困惑度来选择最优的那个模型。...

明月清風 6万+

困惑度 perplexity

在自然语言处理中，困惑度是用来衡量语言模型优劣的一个方法。它的值是对交叉熵损失函数做指数运算后得到的结果。 交叉熵损失函数 单个训练样本的损失： loss=−1n∑i=1nyilogyi^=−logyj^loss=-\frac{1}{n}\sum_{i=1}^{n}y_{i}log\hat{y_{i}}=-log\hat{y_{j}}loss=−n1​∑i=1n​yi​logyi​^​=−logy...

杂文集 3484

Perplexity(困惑度)

转载请注明出处，谢谢。 质量不佳，请多包涵。什么是Perplexity(困惑度)?在信息论中，perplexity(困惑度)用来度量一个概率分布或概率模型预测样本的好坏程度。它也可以用来比较两个概率分布或概率模型。（译者：应该是比较两者在预测样本上的优劣）低困惑度的概率分布模型或概率模型能更好地预测样本。1.概率分布的困惑度 2.概率模型的困惑度 3.每个分词的困惑度1.概率分布的困惑度定义

microstrong 3万+

NLP知识点 - perplexity 困惑度

语言模型（language model）是用来预测句子中的next word的概率分布（probability distribution），并计算一个句子的概率。一个好的语言模型，应该给well-written 的句子更高的生成概率，阅读这些句子不应该让人感到困惑。比较这句话的概率与当前语言模型生成的其他句子的概率，来判定生成句子的好坏呢？答案是否定的，因为句子的最终概率是单词概率连乘得到的，所以随着句子长度的增加，概率会越来越小。因为是概率的倒数，所以困惑度越低，句子概率越高，语言模型就越好。

春天 5744

gensim库_LDA主题模型困惑度Perplexity计算

LDA主题模型困惑度Perplexity计算导入gensim库计算困惑度 perplexity是一种信息理论的测量方法，b的perplexity值定义为基于b的熵的能量（b可以是一个概率分布，或者概率模型），通常用于概率模型的比较。 该部分内容可参考Perplexity（困惑度）、python下进行lda主题挖掘(三)——计算困惑度perplexity 可搜索到的资料都通过编程实现了困惑度的计算，不过gensim库其实自带了perplexity的计算模块，稍作修改即可返回模型困惑度。 导入gensim库 f

u013085021的博客 8612

关于gensim库中lda主题模型困惑度和一致性python图像绘制

关于gensim库中lda主题模型困惑度和一致性python图像绘制 第三方库使用: matplotlib 前期准备 函数参数解释 num_topics： 主题数量 corpus： 处理过的文档语料 dictionary：对应词典 import gensim from gensim import corpora, models def lda_model_values(num_topics, corpus, dictionary): x = [] # x轴 perplexity_

weixin_51154479的博客 2万+

【LM】(八)语言模型评价指标——困惑度Perplexity原理及代码

0.语言模型 语言模型（Language Model，LM），基于统计的语言模型，给出一句话的前k个词，预测第k+1个词，即求第k+1个词出现的概率p(xk+1|x1,x2,...,xk)。在深度网络中，比如bert，可以词前后的内容，预测当前词，类似做完形填空。 1.什么是困惑度 在信息论中，perplexity(困惑度)用来度量一个概率分布或概率模型预测样本的好坏程度。它也可以用来比较两个概率分布或概率模型。（应该是比较两者在预测样本上的优劣）低困惑度的概率分布模型或概率模型能更好地预测样本。

凝眸伏笔的博客 3万+

解惑深度学习中的困惑度Perplexity

解惑深度学习中的困惑度Perplexity

Axlsss的博客 2836

lda主题模型困惑度_LDA主题建模中主题数的确定——基于困惑度与主题一致性

LDA主题建模中主题数的确定——基于困惑度与一致性前言1. 首先是导入包2. 分词3. 复杂性和一致性4. 绘制Perplexity-Coherence-Topic 折线图5. 依据困惑度和一致性评价结果进行主题建模前言最近在《比较》公众号上读到《叙事的经济学与经济学叙事》一文，这篇文章介绍到2013年诺贝尔经济学奖得主，耶鲁大学经济学罗伯特·希勒在2017年发表了一篇论文(Narrat...

weixin_31468621的博客 2万+

从交叉熵角度理解困惑度（perplexity）

从交叉熵理解困惑度 我们通常使用**困惑度（perplexity）来评价语言模型的好坏。通过理解困惑度，也可以让我们更加深入的理解交叉熵（CrossEntropy）**的意义，也可以轻易量化模型的性能。 回顾交叉熵以及多分类问题的损失函数。假设现有 NNN 个数据样本，其中样本的标签为 Yi(i=1,2,⋯ ,N)Y_i(i=1,2,\cdots,N)Yi​(i=1,2,⋯,N)，而模型对样本的预测值记为 Yi^(i=1,2,⋯ ,N)\widehat{Y_i}(i=1,2,\cdots,N)Yi​​(i=

qq_41775769的博客 5466

困惑度（Perplexity）

困惑度（Perplexity，简称 PP）是自然语言处理（NLP）中评估语言模型性能的一种常见度量。它反映了语言模型对给定文本的预测能力。简而言之，困惑度是 语言模型对文本的“不确定性” 或 “混乱度” 的度量，数值越低，说明模型对文本的预测能力越强。

彬彬侠的博客 5713

NLP中对"困惑度"感到困惑?

困惑度(Perplexity)在NLP中是个最流行的评估指标,它用于评估语言模型学的到底有多好.但是很多炼丹师可能至今对"困惑度"依然感到困惑,这篇就把这个讲清楚.假设我们要做个对话机器人,它功能很简单,就是你跟它说你冰箱有啥,它告诉你还需要买啥,能一起做出美味佳肴.例如"鸡肉,胡萝卜",它能够立马给出5~6种购物清单,这就类似用一个NLP模型,去预估和"鸡肉和胡萝卜"共现较多的食材.但是这样评估...

炼丹笔记 537

折肘法+困惑度确定LDA主题模型的主题数

LDA主题模型主题数的确定 折肘法+困惑度确定lda模型的主题个数 背景 lda topic model需要确定从每篇文章中提取多少个关键词，最简单的就是折肘法+困惑度的方法。 补充：还是懒得说背景！以后想起来再补充！还是电脑硬盘坏过，代码忘参考谁的了！原作者发现可以联系我！立马改参考！ 理论 LDA模型中需要评估的选项一般是主题数量，而主题数量需要根据具体任务进行调整，即通过评估不同主题数模型的困惑度来选择最优的模型主题数。本课题中，通过计算困惑度perplexity来衡量主题数量： 其中，M是测试

weixin_43343486的博客 3万+

LDA主题模型绘制困惑度（perplexity）-主题数曲线——python

主题建模作为一种基于机器学习的文本内容分析技术，一般用于推断文本文档中隐藏主题的技术。很多研究使用了基于Latent Dirichlet Allocation (LDA)的主题建模算法来处理大规模文档并识别潜在主题。LDA主题模型已经在多个研究领域得到应用，且都有着不俗表现。 LDA作为一种无监督机器学习技术，利用词袋方法识别隐藏在大规模文档集或语料库中的主题信息。LDA模型可挖掘出文档集或语料库中的潜在主题信息，并采用词 袋构建模型，在不考虑词汇出现顺序的情况下，构成“文档-主题分布”和“主题-词分布”

weixin_41168304的博客 2万+

FreeSWITCH彩铃与回铃音区别详解：从183/180信令到mod_da2检测模块

本文深入解析FreeSWITCH中彩铃与回铃音的技术差异，从183/180信令机制到mod_da2智能检测模块的实现原理。通过对比SIP协议中的早期媒体传输、回铃音补偿技术及实战案例，帮助开发者掌握VoIP系统中的关键音频处理技术，提升呼叫系统稳定性和用户体验。

tree8的博客 349

困惑度：一种新的优化方法

困惑度作为一种新的优化方法，具有计算量小、直观、可用于模型选择等优点。与其他优化方法不同的是，困惑度是一种基于概率的指标。在实际应用中，我们可以使用 PyTorch 实现困惑度的计算过程，并使用困惑度来衡量模型的表现。

泛红尘的博客 2144

论文理解【LLM-OR】——【SIRL】Solver-Informed RL: Grounding Large Language Models for Authentic Optimization M

本文提出第一种针对基于 LLM 的 OR 问题建模和求解任务的 RLVR 方法，其基于求解器得到可验证奖励，设计了 Partial KL 强化目标函数和两阶段奖励课程训练方法，达成了 SOTA 性能

佚失的诗篇 883

困惑度的估计

使用滑动窗口策略时，每次预测时模型能够使用更多的上下文，从而能够更好地近似真实的序列概率分解，通常会得到一个更好的困惑度得分。需要注意的是，这个指标专门适用于经典的语言模型（有时称为自回归模型或因果语言模型），而对于像BERT这样的掩码语言模型，则定义不太清楚（请参考模型总结）。但这种方法通常会给出较高（更差）的困惑度，因为在大多数预测步骤中，模型只能看到较少的上下文。如果没有模型上下文长度的限制，我们可以通过自回归地分解序列，并在每一步都对前面的整个子序列进行条件预测来评估模型的困惑度。

weixin_46532327的博客 1539

Modbus 通信协议详解

Modbus是由 Modicon（现为施耐德电气公司的一个品牌）在 1979 年发明的，是全球第一个真正用于工业现场的总线协议。ModBus网络是一个工业通信系统，由带智能终端的可编程序控制器和计算机通过公用线路或局部专用线路连接而成。其系统结构既包括硬件、亦包括软件。它可应用于各种数据采集和过程监控。为更好地普及和推动Modbus在基于以太网上的分布式应用，目前施耐德公司已将Modbus协议的所有权移交给 IDA（，分布式自动化接口）组织，并成立了 Modbus-IDA 组织。

Projectsauron 的博客 7万+

谈谈人大金仓数据库

人大金仓数据库（Kingbase）是国产自主研发的关系型数据库管理系统，兼容主流数据库语法，支持高并发、高安全性及国产化适配。该数据库提供完整的安装部署方案，包括环境准备、初始化配置和验证流程，并配备专业的数据迁移工具（KDMS）实现从Oracle/MySQL等数据库的平滑迁移。系统提供KStudio等图形化管理工具，支持性能监控、备份恢复等运维功能，同时具备性能调优、高可用架构、分区表管理等高级特性，满足政府、金融等领域的企业级需求。

蜚鸣的博客 2105

困惑度 | NLP中对"困惑度"感到困惑?

每天给你送来NLP技术干货！干货作者：时晴来自：炼丹笔记困惑度(Perplexity)在NLP中是个最流行的评估指标,它用于评估语言模型学的到底有多好.但是很多炼丹师可能至今对"困惑度...

zenRRan的博客 1251

LPC2124定时器实现跑马灯

文章目录一、keil 4新建工程 一、keil 4新建工程 1、Create New Project，注意，最好添加进一个新建好的文件夹里，keil不会帮你新建。 2、添加设备类型：NXP目录下的LPC2124 3、选择启动文件Startu.s 4、new 一个file，保存命名为.c文件 5、添加进project里，右击，add 选中，添加 6、设置编译输出.hex文件 ...

qq_37937830的博客 5753
上一篇： 小困惑
下一篇： 第一个项目（一）
点赞 0
评论 0
书签 书签 0
Fried_potatoes
Fried_potatoes
博客等级 码龄12年 5粉丝 38原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值