Demystifying Prompts in Language Models via Perplexity Estimation

最新推荐文章于 2025-12-07 19:40:17 发布
原创 最新推荐文章于 2025-12-07 19:40:17 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #自然语言处理

研究者通过实验发现，低困惑度的提示能提升语言模型性能。他们使用人工prompt进行paraphrasing生成大量候选，结果显示困惑度与准确性呈负相关。作者建议一种新的prompt策略：基于困惑度筛选经过paraphrasing的手写提示。

Demystifying Prompts in Language Models via Perplexity Estimation

原文链接

Gonen H, Iyer S, Blevins T, et al. Demystifying prompts in language models via perplexity estimation[J]. arXiv preprint arXiv:2212.04037, 2022.

简单来说就是作者通过在不同LLM和不同任务上的实验，发现低困惑度的prompt更能提升LLM的性能，如下图所示，困惑度和acc大致呈一个负相关的趋势。
在这里插入图片描述
作者为了证明自己的猜想，先手写了少量人工prompt，之后交给LLM paraphrase，包括用命令让LLM直接重写以及来回翻译（翻译成别的语言再翻译回来），从而得到了大量prompt。作者之后测试了这些prompt的性能，并计算了困惑度和表现得相似度，基本都是负相关。
在这里插入图片描述
在这里插入图片描述
基于此，作者提出了一种新的prompt方式，也就是先手写，再paraphrase，最后根据困惑度筛选。
在这里插入图片描述

【大模型】大语言模型简介
AI天才研究院
04-03 2万+
因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅实现了显着的性能提升，而且还表现出一些小规模语言模型所不具备的特殊能力。如 Google 发布的多模态具身视觉语言模型 PaLM-E，由540B 的 PaLM 文本模型和 22B 的 VIT 图像模型构成，两者集成处理多模态信息，所以它的总模型规模是 566B。随着模型规模的不断增长，任务效果也持续增长，说明这类任务对大模型中知识蕴涵的数量要求较高。
Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal
c_cpp_csharp的专栏
05-20 370
大型语言模型（LLM）在持续学习过程中会遭受灾难性的遗忘。传统的基于复述的方法依赖于先前的训练数据来保留模型的能力，这在现实世界的应用中可能不可行。当基于公开发布的LLM检查点进行持续学习时，原始训练数据的可用性可能不存在。为了应对这一挑战，我们提出了一个称为自合成复述（SSR）的框架，该框架使用LLM生成用于复述的合成实例。具体来说，我们首先使用用于上下文学习的基本LLM来生成合成实例。随后，我们利用最新的LLM基于合成输入来细化实例输出，保留其获得的能力。
[论文阅读]Demystifying Prompts in Language Models via Perplexity Estimation
m0_52911108的博客
03-13 1389
EMNLP 2023存在这样一个现实：LLM的零样本或者少样本提示学习的能力强劲，但是有时候明明看起来一致的提示词却表现出了较大的输出差异。假设，在考虑与任务相关的合理提示时，提示的困惑度越低，它在任务上的性能就越好。这是基于这样的直觉：提示（或非常相似的短语）在训练数据中出现的频率越高，模型就越熟悉它，并且能够执行所描述的任务。不直接使用训练数据，专注于对提示词困惑度的考量。
困惑度：一种新的优化方法
泛红尘的博客
05-04 2033
困惑度作为一种新的优化方法，具有计算量小、直观、可用于模型选择等优点。与其他优化方法不同的是，困惑度是一种基于概率的指标。在实际应用中，我们可以使用 PyTorch 实现困惑度的计算过程，并使用困惑度来衡量模型的表现。
Prompt-based Language Models：模版增强语言模型小结
Paper weekly
06-14 4071
©PaperWeekly 原创 ·作者|李泺秋学校|浙江大学硕士生研究方向|自然语言处理、知识图谱最近注意到 NLP 社区中兴起了一阵基于 Prompt（模版）增强模型预测的...
【论文笔记】A Survey on In-context Learning
jinniulema的博客
10-08 4066
随着大模型能力的增强，上下文学习（In-context learning, ICL）已成为自然语言处理的新范式，其中LLM仅仅基于添加了几个示例的上下文进行预测。探索ICL来评估和推断LLM的能力已经成为一种新的趋势。本文旨在调查和总结ICL的进展和挑战。首先给出了ICL 的正式定义，并阐明了它和相关研究的相关性。然后，组织并讨论了先进的技术，包括训练策略，演示设计策略以及相关分析。最后，讨论了ICL面临的挑战，并为进一步研究提供了潜在的方向。
德克萨斯大学奥斯汀分校自然语言处理硕士课程汉化版(第八周) - 现代大语言模型
Talk is cheap. Show me the code
06-15 1352
例如，在文本生成任务中，如果有一部分输入是[A][B]，随后再出现一个[A]，模型通过这两个头的协同工作，很有可能会预测出下一个标记是[B]，因为它识别到这种模式并进行了有效的复制和传播。GPT-3虽然在各大NLP任务以及文本生成的能力上惊艳，但是仍然还是会生成一些带有偏见的，不真实的，有害的造成负面社会影响的信息，而且并不按人类喜欢的表达方式去说话。这种延续观察到的模式的能力是语言模型生成高质量文本的基础，尤其是在上下文学习中，模型通过提供的示例来掌握任务，并生成符合这些示例模式的输出。
betterprompt：为LLM提示词提供专业测试套件
gitblog_00125的博客
04-08 970
betterprompt：为LLM提示词提供专业测试套件 项目介绍 在自然语言处理领域，预训练语言模型（LLM）的提示词（prompt）设计至关重要。一个优秀的提示词可以显著提升模型的任务表现。然而，如何评估提示词的优劣一直是业界和学界的难题。betterprompt 正是这样一款开源工具，它旨在为LLM提示词提供一种简便、高效的测试方法，帮助开发者在不将提示词推送到生产环境前，评估其性能。 项目...
插件8：拼写检查
热门推荐
dearbaba_1666的博客
06-27 16万+
<?php // Plug-in 8: Spell Check // This is an executable example with additional code supplie
论文阅读之Multimodal Chain-of-Thought Reasoning in Language Models
学习笔记
03-08 3439
本文主要对2023一篇论文《》主要内容进行介绍。大型语言模型（LLM）通过利用思想链（CoT）提示生成中间推理链作为推断答案的基本原理，在复杂推理方面表现出了令人印象深刻的性能。然而，现有的CoT研究主要集中在语言模态上。这篇文章提出了多模态CoT，将语言（文本）和视觉（图像）模式结合到一个分为两个阶段的框架中，该框架将基本原理生成和答案推理分开。通过这种方式，答案推理可以利用基于多模式信息的更好生成的理由。
Understanding Low-Rank Adaptation (LoRA) for Efficient Fine-Tuning of Large Language Models
bbbeoy的专栏
07-26 1320
This blog post will go into detail about how LoRA works to fine-tune LLMs, following the methodology set out in the “LoRA: Low-Rank Adaptation of Large Language Models” paper
【论文阅读】Demystifying RCE Vulnerabilities in LLM-Integrated Apps
网络空间安全|人工智能|计算机科学
11-19 2263
LLMSMITH通过静态分析技术扫描框架源代码，提取从用户API到危险函数的调用链。代码扫描：首先，对框架源代码进行扫描，查找包含“exec”字符串的文件。每个文件对应一个完整的调用链，从用户API到危险函数。生成调用图：在找到的文件内生成调用图，并提取危险函数的调用者。对于隐式调用的情况，通过判断函数是否属于某个类来确定是否为隐式调用。验证漏洞链。
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
minhuan的专栏
12-03 1298
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
【论文速递】2025年第34周(Aug-17-23)(Robotics/Embodied AI/LLM)
最新发布
淋曦的进击手记
12-07 826
自我监督的学习有望消除对手动数据注释的需求，从而使模型能够毫不费力地扩展到大规模的数据集和较大的体系结构。通过不针对特定的任务或领域量身定制，这种训练范式有可能使用单个算法从不同的来源学习视觉表示形式，从自然到航空图像。该技术报告介绍了Dinov3，这是通过利用简单而有效的策略来实现这一愿景的主要里程碑。首先，我们利用仔细的数据准备，设计和优化来扩展数据集和模型大小的好处。其次，我们介绍了一种称为GRAM锚定的新方法，该方法有效地解决了长期训练时间表中已知但未解决的密集特征映射降解的问题。
人工智能的基石之三：硬件
最简单的方法，解决最实际的问题。
12-05 655
高性能硬件是人工智能的基石，尤其是在机器学习和深度学习领域，海量数据是常态。从充当计算机大脑的中央处理器 (CPU) 到加速计算的图形处理器 (GPU)，硬件的作用是提供处理和运行复杂数据算法所需的原始能力。
AI泡沫什么时候破？
脑极体
12-04 668
而AI企业面对的短期形势，可能更为严峻。而AI公司和技术服务商，为了迎合决策者或拿下B端大项目，往往不计成本的低价竞标，无视人工成本的驻场开发，技术价值让位于领导偏好，企业自身也深陷人效黑洞，沦为挣辛苦钱的技术外包。To B/G不赚钱，To C也卖不上价，所以目前AI领域唯一清晰的商业模式，就是类似英伟达的“卖铲人”模式，卖加速卡和算力的企业成了这一轮AI浪潮的最大受益人。去伪存真之后，资本会冷却，叙事会修正，共识会重新凝聚，而那些持续追问“AI如何创造真实价值”的人，会与行业一同穿越周期，走向成熟。
【AI是否能替代IT从业者？】
博文致力于人工智能算法的探索研究；前后端分离项目的技术分享交流；专升本计算机基础课程内容讲解；各种中间件技术分享
12-03 1149
2025年IT行业面临AI深度重构：基础开发、测试、运维岗位替代率超60%，但AI相关新兴岗位激增380%。人类在复杂系统设计、伦理决策和跨界融合领域仍具不可替代性。微软等企业实践显示，人机协作可使效率提升40%。从业者需转型高价值领域（如Agent开发、大模型工程），掌握"技术+领域"双轨能力。AI本质是职业生态重构器，持续学习者的薪资溢价可达150%。建议立即评估岗位AI暴露指数，优先学习分布式架构优化、多智能体开发等技能。
AI驱动的网联自动驾驶汽车网络安全测试方法
NewCarRen的博客
12-03 1035
本文综述了网联自动驾驶汽车(CAV)网络安全测试面临的挑战与解决方案。随着CAV普及，网络攻击风险加剧，现有渗透测试方法面临测试环境成本高、专业人才匮乏等挑战。研究表明，人工智能(AI)在传统行业渗透测试中展现出缩短时间、提高效率的优势，但在CAV领域应用仍存在明显缺口。文章重点分析了强化学习等AI算法在渗透测试中的应用潜力，指出创建仿真环境是测试AI模型有效性的可行方案。开源工具VEINS被推荐为合适的仿真平台，其Python/C++接口便于AI模型集成。研究认为，若证实AI方法有效，可扩展应用于完整CA
建筑数字孪生与AI：工地数据化与智能决策解析
Azhiyuanshijie的博客
12-04 338
数字孪生整合BIM模型、无人机影像、传感器数据，构建工地虚拟模型。施工状态、材料使用、设备运行数据被实时采集，支撑预测与优化。服务，将算法嵌入实际施工管理系统，实现数据采集、分析、优化和决策闭环。系统可与BIM、ERP集成，形成完整数字孪生解决方案。通过虚拟映射和AI算法，施工过程从经验驱动转向数据驱动。数字孪生+AI，让工地变成“数据实验室”，提升效率、降低风险，并推动建筑企业迈向智能化时代。，企业可展示施工技术实力，实现品牌影响力和潜在客户转化。：AI提出最优施工方案，提升效率和安全。
开关电源技术详解：Demystifying Switching Power Supplies
Mack编写的，书名Demystifying Switching Power Supplies，由Newnes出版社（现为Elsevier的印记）出版。这本书详细介绍了开关电源的基础知识和技术，是理解这一领域的理想指南。" 在开关电源领域，Demystifying ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShadyPi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值