Automatic Prompt Augmentation and Selection with Chain-of-Thought from Labeled Data

最新推荐文章于 2025-12-13 20:54:04 发布
原创 最新推荐文章于 2025-12-13 20:54:04 发布 · 358 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#prompt

研究者利用链式思维(CoT)样例，通过few-shot推理生成新样例或零Shot-CoT，构建随机分布进行样本选择。采用强化学习优化这一过程，实验结果显示在各数据集上达到最新最优性能(SOTA)。

Automatic Prompt Augmentation and Selection with Chain-of-Thought from Labeled Data

文章链接

在这里插入图片描述
港科的工作，主要着眼于CoT样例的生成和选取，数据增强的部分就是用已有的CoT样例做few-shot推理，让LLM生成新的CoT样例（或者直接用Zero-shot-CoT），将生成正确的样例加入到备选池子里。

至于如何选择，则是将抽取样例的过程看成从一个随机分布里采样的过程。用一些参数构建一个随机分布，该分布的采样值对应不同的CoT样例。为了学习这个分布，作者采用了强化学习的方法。

实验显示在各数据集上达到了SOTA。
在这里插入图片描述

【AI 大模型开发实战系列】自动化提示词工程 3
AI天才研究院
09-11 1114
随着人工智能技术的快速发展，大型语言模型（LLM）如GPT-3、GPT-4等已经在各个领域展现出惊人的能力。然而，如何有效地与这些模型进行交互，以获得最佳的输出结果，成为了一个关键问题。这就引出了"提示词工程"（Prompt Engineering）这一新兴领域。提示词工程是指设计和优化输入提示，以引导AI模型产生所需的输出。然而，随着应用场景的复杂化和多样化，手动设计和优化提示词变得越来越具有挑战性，因此自动化提示词工程应运而生。
大语言模型三种训练技术：Prompt-Tuning、Instruction-Tuning、Chain-of-Thought
u013250861的博客
05-11 2290
一切还是从BERT（BERT模型卡信息：「链接」）说起，当年Google提出BERT模型的时候，一个最大的贡献是使用了Masked Language Model（MLM），即随机掩盖输入序列的一个token，然后利用相邻的tokens预测这个token是什么，这样模型可以学会更好地理解上下文。BERT这种训练方式让模型在文本生成方面有很强的能力，因此，大家发现有时候不一定需要做fine-tuning即可让模型帮我们解决感兴趣的任务。
Chain of Thought 开山之作论文详解
qq_42190727的博客
11-12 6794
现在语言模型的规模越来越大，但是即便是现在最大的语言模型，它们也往往很难在涉及到推理方面的任务取得很好的表现，也就是说，他们通常很难在数学，符号，以及常识的推理上取得尚佳的表现 这篇文章主要是针对大语言模型在遇到语言推理任务时的局限性，提出了 chain of thought，也就是思维链
Automatic Prompt Optimization with “Gradient Descent” and Beam Search
ShadyPi的IT笔记
06-01 2481
整篇文章比较精髓的思想在于y​yppggpggp。
通用人工智能三大核心方向：多模态融合、推理能力与自主性
通往AGI之路
07-04 649
通用人工智能的探索是一个长期而复杂的工程。多模态融合、推理能力和自主性这三大方向是当前研究的核心。通过解决跨模态对齐、推理链泛化、自主性与可解释性等关键开放问题，并沿着世界模型、自动化推理、多智能体协作等潜在突破方向持续深耕，我们将有望逐步迈向真正意义上的通用人工智能。
Prompt工程师指南[资料整合篇]：Prompt最新前沿论文整理合集、工具和库推荐、数据集整合、推荐阅读内容等，超全面资料
丨汀、的博客
05-16 1201
Prompt工程师指南[资料整合篇]：Prompt最新前沿论文整理合集、工具和库推荐、数据集整合、推荐阅读内容等，超全面资料
Bao: Learning to Steer Query Optimizers 论文翻译
weixin_40293999的博客
04-04 1209
相反，为了完全放弃传统的查询优化器，以换取完全学习的方法，bao bao 认识到传统的查询优化器包含了数十年精心手编码的智慧。换句话说，bao bao 寻求在现有的查询优化器之上建立学习组件，以增强查询优化，而不是完全替换或丢弃传统的查询优化器。由于 bao 利用了底层查询优化器，因此 bao 具有成本和 cardinality 估计，允许 bao 使用更为灵活的表示方式，能够像底层查询优化器一样适应新的数据和表结构变化。在某种程度上，bao 位于现有查询优化器的顶部，并尝试学习传入查询和此类提示的映射。
插件8：拼写检查
热门推荐
dearbaba_1666的博客
06-27 16万+
<?php // Plug-in 8: Spell Check // This is an executable example with additional code supplie
Prompt Engineering 面面观
06-22 2681
提示工程（Prompt Engineering），也称为 In-Context Prompting，是指在不更新模型权重的情况下如何与 LLM 交互以引导其行为以获得所需结果的方法。在提示工程中，任务的描述会被嵌入到输入中。例如，不是隐含地给予模型一定的参数，而是以问题的形式直接输入。提示工程的典型工作方式是将一个或多个任务转换为基于提示的数据集，并通过所谓的“基于提示的学习（prompt-based learning）”来训练语言模型。提示工程不仅仅是关于设计和研发提示词。
51c自动驾驶~合集54
whaosoft~aiotの开发板商城
03-12 1902
在车道拓扑提取任务中，我们预测一个密集的邻接矩阵，用于表示车道线段和交通元素之间的关系。具体来说，车道线段之间的关系由矩阵A∈Rm×m表示，车道线段与交通元素之间的关系由矩阵A∈Rm×n表示，其中m和n分别是车道线段和交通元素的数量。尽管密集视觉提示可以实现高性能，但其高昂的成本、环境影响和低效的推理速度使其不适用于实时应用。因此，我们采用链式推理（Chain-of-Thought, COT）方法，仅对稀疏的边缘情况进行密集视觉提示，从而提高推理效率。
【心法篇】如何写好 Prompt：Chain-of-Thought 技巧深度解析
X_Flipped的博客
11-28 1233
提高复杂任务的输出质量；增强逻辑推理能力；降低模型生成偏差。学会使用 CoT 技巧，你的 Prompt 不仅能解决问题，还能真正做到“思路清晰，输出精准”。
论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting
学习笔记
03-01 1820
虽然情绪分析任务中通常根据输入文本中的关键意见表达来确定给定目标的情绪极性，但在隐式情绪分析（ISA）中，意见线索通常是隐含或者模糊的。因此，检测隐含情绪需要常识和多跳推理能力来推断意见的潜在意图。在思想链（CoT）思想的启发，本文引入了一个三跳推理（THOR）CoT框架来模拟ISA的模拟人类推理的过程。THOR设计了一个三步提示原则，逐步诱导隐含的方面、观点，最后是情绪的极性。THOR+Flan-T5（11B）在监督微调下将数据集最优性能（SoTA）提高了6%以上。
论文翻译 | Chain-of-Thought Prompting Elicits Reasoningin Large Language Models 思维链提示在大型语言模型中引出推理
m0_49651195的博客
07-09 4118
我们探讨了如何生成思维链——一系列中间推理步骤——显著提高大型语言模型执行复杂推理的能力。特别是，我们通过一种称为思维链提示的简单方法，展示了这种推理能力如何在足够大的语言模型中自然出现，其中提供了一些思维链演示作为提示的示例。在三个大型语言模型上的实验表明，思维链提示提高了一系列算术、常识和符号推理任务的性能。经验上的收获可能是惊人的。例如，在GSM8K的数学单词问题基准测试中，仅使用八个思维链示例就可以实现最先进的精度，甚至超过了经过微调的带有验证器的GPT-3。
解锁LLMs的“思考”能力：Chain-of-Thought(CoT) 技术推动复杂推理的新发展
丨汀、的博客
06-14 1906
解锁LLMs的“思考”能力：Chain-of-Thought(CoT) 技术推动复杂推理的新发展
（ 教学 ）Agent 构建 Prompt（提示词）4. 提示词模板 (初级到高级的应用提示词)
Cheer_RIO的博客
12-11 1122
摘要提示词旨在生成简洁、信息丰富的文档摘要，同时保留关键信息和上下文。from langsmith import Client from langchain_core . prompts import PromptTemplate # 将提示上传到 LangChain Hub。# 别忘了在环境变量中设置 LangSmith API。请根据以下要求对句子进行总结。要求：1. 以项目符号的形式概括要点。2. 每条总结句开头需使用贴合句意的表情符号。3. 使用多样的表情符号让摘要更有趣。
Prompt优化策略
moonsheeper的专栏
12-08 303
​​Few-Shot Learning​​：在Prompt里提供1-3个“输入-输出”的示例，让AI明白你想要的风格和格式。​​错误防护​​：在Prompt里加入“如果信息不足，请向我提问”、“请先分步骤思考再输出答案”等语句，能有效减少“答非所问”的情况。​​角色设定​​：明确AI的身份，比如“你是一名资深产品经理”、“你是一位美食博主”。​​限制条件​​：告诉AI不能做什么，比如“不能编造数据”、“遇到信息不足要反问”。​​输出格式​​：指定输出形式，比如“请用JSON格式列出”、“请分点说明”。
LLM - 从 Prompt 到上下文工程：面向 Java 的生产级 AI Agent 设计范式
最新发布
小工匠
12-13 383
本文探讨了如何构建安全、可控的生产级AI Agent系统。文章指出，当前大模型已具备接近工程师的编程能力，但落地难点在于系统安全性、权限控制和可持续运行。重点分析了Prompt注入威胁及多层防御策略，强调工具设计、调用策略和上下文工程的关键作用。针对长任务场景，提出了压缩、外部记忆和子Agent三板斧解决方案。最后为Java开发者提供了架构建议，包括上下文管理、安全控制和任务调度三层设计。附Anthropic/Claude相关工程文档索引，涵盖Agent SDK、上下文工程及长任务可靠性设计等实用资源
（ 教学 ）Agent 构建 Prompt（提示词）3. 提示词模板 (LangChain Hub)
Cheer_RIO的博客
12-10 621
本文介绍了LangChain Hub提示词的使用方法，主要包括两大功能：1）从Hub获取预设提示词，如RAG问答模板；2）向Hub注册自定义提示词（如韩语摘要模板）。通过简单的Python代码即可实现提示词的拉取、执行和共享，显著提升开发效率。LangChain Hub作为提示词集中管理平台，支持搜索分类、版本控制和团队协作，使开发者能够快速复用优质提示词模板。文中提供了详细的操作示例和API参考链接，帮助开发者快速上手这一高效工具。
prompt自主生成框架 - DSPy
liliang199的专栏
12-12 524
DSPy是斯坦福大学搞的一个prompt自动生成框架，核心理念是目前已有很多项目组已经不在手写propmt，而是用DSPy自动生成。这里尝试在本地环境运行DSPy，示例其prmopt的生成过程。所用示例和代码，参考和修改自网络资料。
chain-of-thought prompt
04-03
### Chain-of-Thought Prompting 的作用与用法 Chain-of-thought prompting 是一种用于增强大型语言模型推理能力的技术。它通过提供一个多步骤的逻辑链条，引导模型逐步完成复杂的推理任务。这种方法的核心在于让...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShadyPi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值