Are Large Language Models Good Prompt Optimizers?

大型语言模型的提示优化效能探究
最新推荐文章于 2025-11-24 18:37:40 发布
最新推荐文章于 2025-11-24 18:37:40 发布
阅读量144 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Prompt 文章标签： 语言模型 prompt 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136560889
LLM 日更 同时被 2 个专栏收录
828 篇文章

已下架不支持订阅

LLM Prompt
40 篇文章
订阅专栏
本文深入研究了大型语言模型（LLM）作为提示优化器的效果，发现LLM在自我反思和提示细化过程中可能存在局限性，往往受到自身先验知识的影响而非真正反思错误。此外，LLM优化器难以通过单次细化生成合适的目标模型提示。因此，提出了新的“自动行为优化”范式，以更可控方式优化目标模型行为，为自动提示优化领域提供新的研究方向。

本文是LLM系列文章，针对《Are Large Language Models Good Prompt Optimizers?》的翻译。

大型语言模型是好的提示优化工具吗？

摘要

基于LLM的自动提示优化通常利用LLM作为提示优化器来自我反映和细化提示，在最近的研究中显示出了良好的性能。尽管取得了成功，但这种方法的潜在机制仍未被探索，LLM作为提示优化工具的真正有效性需要进一步验证。在这项工作中，我们进行了全面的研究，以揭示基于LLM的提示优化的实际机制。我们的研究结果表明，LLM优化器在反思过程中很难确定错误的真正原因，倾向于被他们自己的先验知识所偏见，而不是真正反思错误。此外，即使反射在语义上有效，LLM优化器也经常无法通过单个提示细化步骤为目标模型生成适当的提示，部分原因是目标模型的不可预测行为。基于观察结果，我们引入了一种新的“自动行为优化”范式，该范式以更可控的方式直接优化目标模型的行为。我们希望我们的研究能够为自动提示优化的发展提供新的方向。

1 引言

2 背景：基于LLM的自动提示优化

3 评估LLM作为提示优化器

4 基于LLM的提示优化器是否执行有效反射？

5 精炼提示的质量如何以及它们如何影响目标模型的行为

6 大语言模型是好的行为优化器

7 结论

在这项工作中，我们进行了一

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

Unleashing the Potential of Large Language Models as Prompt Optimizers
c_cpp_csharp的专栏
05-07 408
自动提示优化是提高大型语言模型（LLM）性能的一种重要方法。最近的研究证明了使用LLM作为提示优化器的潜力，它可以通过迭代细化生成改进的任务提示。在本文中，我们通过与基于梯度的模型优化器进行类比，提出了一种新的视角来研究基于LLM的提示优化器的设计。为了将这两种方法联系起来，我们确定了模型参数学习中的两个关键因素：更新方向和更新方法。针对这两个方面，我们借鉴了基于梯度优化的理论框架和学习方法，为基于LLM的提示优化器设计了改进的策略。
【文献笔记】Large Language Models as Evolutionary Optimizers
c769的博客
04-09 783
Large Language Models as Evolutionary Optimizers文献笔记。文中提出了一个基于LLM（GPT-3.5 API chat-turbo-0613）的进化算法（LMEA），用于解决经典的旅行商（TSP）问题。LLM在这里的作用是通过提示（prompt）进行父代选择、交叉和变异操作，这构成了进化优化的核心部分。
阅读论文：CONNECTING LARGE LANGUAGE MODELS WITH EVOLUTIONARY ALGORITHMS YIELDS POWERFUL PROMPT OPTIMIZERS
weixin_46942074的博客
04-29 1542
大型语言模型(llm)擅长于各种任务，但它们依赖于精心制作的提示，这些提示通常需要大量的人力。为了使这一过程自动化，在本文中，我们提出了一个新的离散提示优化框架，称为EVOPROMPT，它借用了进化算法(EAs)的思想，因为它们表现出良好的性能和快速收敛。为了使ea能够处理离散的提示，这些提示是需要连贯和人类可读的自然语言表达式，我们将llm与ea连接起来。这种方法使我们能够同时利用llm强大的语言处理能力和ea的高效优化性能。
文献阅读：Large Language Models as Optimizers
codename_cys的博客
01-14 2616
文献阅读：Large Language Models as Optimizers
[Google DeepMind] LARGE LANGUAGE MODELS AS OPTIMIZERS
ShadyPi的IT笔记
09-13 1778
总体架构Optimization by PROmpting (OPRO)：最开始输入meta-prompt，这个初始的meta-prompt基本上只是对优化任务进行了描述(也会有few-shot example)。输入后LLM便会生成一个solution，这个solution由objective function评估并打分。(solution, score)组合成一对添加到meta-prompt中，如此完成一个循环。多次循环后取分数最高的solution作为优化结果。
【论文阅读】大模型优化器（Large Language Models As Optimizers）
最短的捷径就是绕远路，绕远路才是我的最短捷径。
06-09 1615
论文提出了方法，利用大语言模型（LLMs）作为优化器。与传统基于梯度的优化算法不同，OPRO用自然语言描述优化任务。LLM从包含先前生成解决方案及其评分的提示中生成新的解决方案评估新解决方案并将其添加到下一步优化的提示中通过这种迭代过程逐步改进解决方案质量数学优化问题线性回归：寻找最优的线性系数旅行商问题（TSP）：寻找最短路径提示词优化目标是找到能够最大化任务准确率的指令在GSM8K（小学数学题）和Big-Bench Hard任务上进行测试。
LARGE LANGUAGE MODELS AS OPTIMIZERS翻译
nopSled
09-15 719
优化对于所有领域都至关重要。许多优化技术都是迭代的：优化从初始解决方案开始，然后迭代更新解决方案以优化目标函数。优化算法通常需要针对单个任务进行定制，以应对决策空间和性能带来的特定挑战，尤其是导数无关的优化。在这项工作中，我们提出了 Optimization by PROmpting (OPRO)，这是一种利用大型语言模型 (LLM) 作为优化器的简单有效的方法。随着提示技术的进步，LLM在各个领域都取得了令人印象深刻的表现。
论文笔记：LSTPrompt: Large Language Models as Zero-Shot Time Series Forecastersby Long-Short-Term Prompt
qq_40206371的博客
03-12 1196
zero-shot部分的baseline，其中PTM表示pre-train model，也就是至少经过fine-tune的模型，开销比直接prompt是要高的。这个TimePrompt可以把预测结果的趋势“抬起来”，应该是因为“深呼吸”的缘故？大部分大模型都是在2022之前的数据上训练的，所以这些数据可能大模型看到过。主要是k，多少步“深呼吸”一次。\TD 表示去掉时间序列分解。
文献翻译与阅读《ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning》
weixin_42052249的博客
09-15 2643
本文工作 1. 提出了一个ChatRule框架 2. 框架由一个基于LLM的规则生成器启动，利用了和结构信息 3. 规则质量通过KGs中已有的事实来估计 4. 通过思维链推理验证排序规则的逻辑正确性
CONNECTING LARGE LANGUAGE MODELS WITH EVOLUTIONARY ALGORITHMS YIELDS POWERFUL PROMPT OPTIMIZERS
weixin_43961909的博客
01-20 1019
大型语言模型（LLM）在各种任务中表现出色，但它们依赖于精心设计的提示，而这些提示通常需要大量的人力。为了实现这一过程的自动化，在本文中，我们提出了一种新的离散提示优化框架，称为EvoPrompt，它借用了进化算法（EAs）的思想，因为它们表现出良好的性能和快速收敛性。为了使EA能够处理离散提示，离散提示是需要连贯且人类可读的自然语言表达式，我们将LLM与EA连接起来。这种方法使我们能够同时利用LLM强大的语言处理能力和EA的高效优化性能。
AI Prompt 工程实战：用AI大模型打造英语助手
最新发布
清云逸仙的博客
11-24 487
本文介绍了如何利用大语言模型（如GPT-4）打造初中生英语单词学习助手，通过Prompt Engineering设计专业教学提示词。文章包含完整的Prompt模板设计思路，以单词"home"为例展示结构化输出效果（词性、短语、例句），并提供了基于Flask和OpenAI API的Python实现代码。该方案具有教育场景匹配度高、输出规范、易于扩展等特点，可快速部署为Web应用或集成到学习平台中，助力AI+教育创新实践。
文档翻译prompt
weixin_43848765的博客
11-21 172
按字母顺序处理所有 70 个文件，检查文件， 逐个翻译，已经翻译到了，SPXDialogServiceConnectorActivityReceivedEventArgs 文件了。不翻译：代码标识符、版权信息、导入语句、NS_SWIFT_UNAVAILABLE 等系统消息。不翻译：代码标识符、版权信息、导入语句、NS_SWIFT_UNAVAILABLE 等系统消息。@param、@return、@note 等标签后的说明。@param、@return 等标签后的说明。逐个读取、翻译、保存。
RAG 同 Prompt Engineering
north_eagle的专栏
11-24 874
本文探讨了Prompt Engineering（提示词工程）与RAG（检索增强生成）技术的区别与联系。提示词工程专注于优化输入提示以引导模型输出，而RAG则通过检索外部知识库动态构建提示内容。虽然RAG的核心可视为高级提示词工程，但其底层包含复杂的检索系统和数据处理流程。两者在实际应用中相互依存：RAG提供精准数据检索，提示词工程则确保模型输出的准确性和规范性。开发者需同时掌握这两种技术，才能构建高效的生成式AI应用系统。
AI Prompt应用实战：评论审核系统实现
清云逸仙的博客
11-24 379
AI Prompt 应用实战：基于大模型的评论审核功能实现（附完整 Prompt 设计与案例解析）
提示工程（Prompt Engineering）——大模型时代的魔法咒语
清云逸仙的博客
11-21 210
摘要：提示工程（Prompt Engineering）作为连接人类与大型语言模型的关键技术，自2018年概念提出后迅速发展。它通过简单或复杂的指令实现高效人机交互，应用涵盖软件开发、内容创作等多个领域。随着科技巨头将大模型集成到操作系统中，提示工程的重要性日益凸显。虽然专职提示工程师岗位尚少，但该技术正快速渗透各行业，成为AI普及的重要推动力。掌握提示工程技术对技术从业者职业发展具有重要意义，未来将深刻影响数字世界的交互方式。（149字）
什么是AI领域的Prompt
清云逸仙的博客
11-21 963
摘要：Prompt（提示词）作为大模型应用开发的核心技术，直接影响AI输出的质量和可靠性。本文系统介绍了Prompt的定义、重要性、主要类型（如零样本提示、思维链提示等），并提出了CRISPE高质量提示设计框架。文章还分享了避免模糊指令、结构化输入等实战技巧，以及准确性、安全性等评估指标。随着AI发展，Prompt正从手工编写向自动优化演进，并与RAG、多模态技术深度融合，成为一门融合语言学、认知科学和软件工程的新兴工程学科。掌握Prompt技术是开发高价值AI应用的关键第一步。
Prompt Engineering调优指北
sysu_lluozh
11-21 83
摘要 Prompt工程是一种优化大模型输出的关键技术，通过设计高效的提示词引导模型生成预期结果。其核心原则包括明确性、结构化、上下文丰富、复杂度平衡和示例驱动。常见问题如输出不稳定和理解偏差可通过增加约束、结构化标签和重复强调解决。优化技巧包括步骤说明、规则拆分、冗余信息、分隔符使用、样例提供和思维链推理。效果评估需关注准确性、相关性、完整性和一致性，采用A/B测试等方法迭代优化。实践示例展示了客服、代码审查等场景中Prompt设计的改进效果，强调角色定义、审查维度和输出格式等关键要素。
基于华为开发者空间Notebook进行DeepSeek大模型Prompt工程深度实践
优快云高校俱乐部官方博客
11-21 883
基于华为开发者空间Notebook进行DeepSeek大模型Prompt工程深度实践
基于LangChain SQL Agent与自研LLM+Prompt方案的技术原理、实现路径与落地实践
沛哥儿的专栏
11-23 986
在企业的日常运营中，数据查询是支撑决策的核心环节，但SQL语言的专业门槛使得大量业务人员被挡在数据大门之外。2025年，全球企业因"数据访问壁垒"导致的决策延迟造成的经济损失预计高达540亿美元（IDC数据）。Text2SQL技术应运而生，它通过自然语言到SQL的自动转换，让"用人类语言查询数据库"成为现实。本文将深入解析基于LangChain SQL Agent与自研LLM+Prompt方案的技术原理、实现路径与落地实践，为开发者提供一套完整的Text2SQL实施框架。
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
03-09
### Chain-of-Thought Prompting Mechanism in Large Language Models In large language models, chain-of-thought prompting serves as a method to enhance reasoning capabilities by guiding the model through structured thought processes. This approach involves breaking down complex problems into simpler components and providing step-by-step guidance that mirrors human cognitive processing. The creation of these prompts typically includes selecting examples from training datasets where each example represents part of an overall problem-solving process[^2]. By decomposing tasks into multiple steps, this technique encourages deeper understanding and more accurate predictions compared to traditional methods. For instance, when faced with multi-hop question answering or logical deduction challenges, using such chains allows models not only to generate correct answers but also articulate intermediate thoughts leading up to those conclusions. Such transparency facilitates better interpretability while improving performance on various NLP benchmarks. ```python def create_chain_of_thought_prompt(task_description, examples): """ Creates a chain-of-thought prompt based on given task description and examples. Args: task_description (str): Description of the task at hand. examples (list): List containing tuples of input-output pairs used for demonstration purposes. Returns: str: Formatted string representing the final prompt including both instructions and sample cases. """ formatted_examples = "\n".join([f"Input: {ex[0]}, Output: {ex[1]}" for ex in examples]) return f""" Task: {task_description} Examples: {formatted_examples} Now try solving similar questions following above pattern. """ # Example usage examples = [ ("What color do you get mixing red and blue?", "Purple"), ("If it rains tomorrow, will we have our picnic?", "No") ] print(create_chain_of_thought_prompt("Solve logic puzzles", examples)) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值