Planning In Natural Language Improves LLM Search For Code Generation

最新推荐文章于 2025-07-24 15:44:35 发布
最新推荐文章于 2025-07-24 15:44:35 发布
阅读量211 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM for code 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/142333255

本文是LLM系列文章，针对《Planning In Natural Language Improves LLM Search For Code Generation》的翻译。

用自然语言进行规划改进了LLM搜索代码生成

摘要

虽然扩展训练计算已经导致大型语言模型 (LLM) 的显着改进，但扩展推理计算尚未产生类似的收益。我们假设核心缺失部分是缺乏多样化的 LLM 输出，由于模型重复采样高度相似但不正确的生成，导致搜索效率低下。我们凭经验证明，可以通过搜索用自然语言解决问题的候选计划来缓解这种多样性的缺乏。基于这一见解，我们提出了 PLANSEARCH，这是一种新颖的搜索算法，它在 HumanEval+、MBPP+ 和 LiveCodeBench（竞争性编码的无污染基准）上显示出强大的结果。 PLANSEARCH 生成关于问题的一组不同的观察结果，然后使用这些观察结果来构建解决问题的计划。通过使用自然语言搜索计划而不是直接搜索代码解决方案，与基线搜索方法相比，PLANSEARCH 探索了更加多样化的潜在解决方案。在 Claude 3.5 Sonnet 之上使用 PLANSEARCH 在 LiveCodeBench 上实现了 77.0% 的最先进的 pass@200，优于没有搜索时获得的最佳分数 (pass@1 = 41.4%) 和使用标准重复采样 (pass@ 200 = 60.6%）。最后，我们表明，在所有分析的模型、搜索算法和基准测试中，我们可以准确预测搜索带来的性能增益，作为生成想法的多样性的直接函数。

1 引言

2 相关工作

3 动机

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM 怎样用于 OLAP 自助式数据分析？
AI天才研究院
07-03 5642
Microsoft宣布了一款名为 Fabric的数据分析产品。Fabric最令人兴奋的功能之一是聊天界面，允许用户用人类语言提出数据问题。因此，每个人都无需在数据请求队列中等待，而是可以即时获得数据问题的答案。
【大模型】大语言模型简介
AI天才研究院
04-03 2万+
因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅实现了显着的性能提升，而且还表现出一些小规模语言模型所不具备的特殊能力。如 Google 发布的多模态具身视觉语言模型 PaLM-E，由540B 的 PaLM 文本模型和 22B 的 VIT 图像模型构成，两者集成处理多模态信息，所以它的总模型规模是 566B。随着模型规模的不断增长，任务效果也持续增长，说明这类任务对大模型中知识蕴涵的数量要求较高。
Scale AI：先观察再搜索的LLM代码生成
大模型任我行的博客
09-17 908
如何通过自然语言规划，提高大语言模型（LLM）在代码生成任务中的搜索效率？论文提出了一种名为PLANSEARCH的新方法，通过在问题空间中引导模型生成各种观察，然后将这些观察转化为代码解决方案。
Planning In Natural Language Improves LLM Search For Code Generation翻译
nopSled
10-05 252
学习和搜索。尽管大型语言模型的最新进展消除了人们对学习有效性的所有怀疑，但搜索尚未证明其对大型语言模型的价值，尽管它在经典机器学习技术上取得了成功。在这里，我们将搜索称为在推理时花费额外计算量以提高整体性能的任何方法。在这项工作中，我们专注于改进 LLM 搜索以生成代码，这是 LLM 当前最重要的应用之一。我们假设，阻碍在推理时广泛使用代码搜索的主要瓶颈是模型输出缺乏高级多样性。这种缺乏多样性的部分原因可能是通常用于将 LLM 训练为聊天机器人的特定后训练目标，其中模型通常经过优化以产生单个正确答案。
探索自然语言中的计划搜索：提升大型语言模型代码生成性能的新方法
zenRRan的博客
09-09 1051
论文：Planning In Natural Language Improves LLM Search For Code Generation 链接：https://arxiv.org/pdf/2409.03733研究背景研究问题本文研究了如何在大语言模型（LLMs）的推理计算中进行有效的搜索，以提高代码生成的性能。具体来说，作者发现当前LLMs在推理时缺乏多样性，导致搜索效率低下。研究难点该问题...
一文总览OpenAI o1相关的技术：从CoT、Quiet-STaR、Self-Correct、Self-play RL、MCTS等到类o1模型rStar-Math
热门推荐
结构之法 算法之道
10-12 3万+
可能是去年写或讲的关于ChatGPT原理的文章和课程，影响力太大了导致​​自从OpenAI o1出来后，每过两天，就有朋友问，“校长 o1啥时候出解读或课程”，实在是各个大模型项目上的事情太多，加之近期一直在抠机器人(比如本博客内连发了五篇机器人相关的文章，再不刻意强插一下比如o1，真的很难停下来)但，今天又有朋友来问，故，准备并行开写o1了一开始，我主要是看的这几个资料但随着本文越写越深，挖出来的相关资料也越来越多，我会竭尽所能，确保本文具备以下两大特征。
LLMs之Agent：Personal_LLM_Agents_Survey的简介、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-17 2万+
​ LLMs之Agent：Personal_LLM_Agents_Survey的简介、使用方法之详细攻略 目录 Personal_LLM_Agents_Survey的简介 Personal_LLM_Agents_Survey的使用方法 Personal_LLM_Agents_Survey的简介 个人LLM代理(智能体)被定义为一种特殊类型的基于LLM的代理，它与个人数据、个人设备和个人服务深度集成。它们最好部署到资源受限的移动/边缘设备和
RT-2论文翻译: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
机器学习实战
01-26 1296
在广泛的Web规模数据集上预训练的高容量模型为各种下游任务提供了有效且强大的平台：大型语言模型不仅可以实现流畅的文本生成（Anil等，2023；Brohan等，2022；OpenAI，2023），还能实现新兴的问题解决（Cobbe等，2021；Lewkowycz等，2022；Polu等，2022）以及散文（Brown等，2020；OpenAI，2023）和代码（Chen等，2021）的创造性生成，而视觉语言模型则实现了开放词汇的视觉识别（Kirillov等，2023；Minderer等，2022；
时间序列预测Python机器学习应用
木头大左的博客
07-23 1071
时间依赖性：当前值受过去值的影响。趋势性：数据可能呈现长期上升或下降的趋势。季节性：数据在固定周期内重复出现的模式。噪声：随机波动，无明显规律。
腾讯内测的 AI 编程 IDE，上手表现如何？（含实测）
非著名程序员
07-22 1321
通过截图，我们可以看到，点击小火箭图标，也就是「部署」按钮之后，开始执行命令，先是创建 sandbox ，然后上传代码，安装部署环境和各种依赖，最后启动服务。另外，最后，我不得不夸一句，腾讯的产品力不仅体现在功能和人性化上，在产品设计上也是非常好，这个 IDE 的界面语言，是我目前见过的 AI 编程工具当中最好的。让你的需求变成真正可用的应用。虽然是基于开源的 VS Code IDE 衍化而来，但是，从整体的界面的细腻程度，真的做到了简洁大方，非常好看，给你一看就是一款有质感，有追求的 IDE。
论文笔记：EDITING MODELS WITH TASK ARITHMETIC
qq_40206371的博客
07-21 852
2023 ICLR。
大模型开发
2302_81352523的博客
07-23 845
AI（人工智能）是使机器具备类人思考和解决问题能力的技术，其核心是Transformer神经网络模型（如GPT）。大模型应用结合传统编程实现记忆等复杂功能，应用开发技术包括Prompt问答、微调、Agent调用和RAG（外挂知识库），适用于客服、医疗、办公自动化等场景。AI通过数据训练掌握语言规律，处理模糊性问题，与传统程序互补形成强大应用。
统计与大数据分析与数学金融方向课程差异有哪些？如何提升职场竞争力？
LRQ2025的博客
07-23 878
统计与大数据分析和数学金融专业存在显著课程重叠（概率统计、编程、优化等），但主攻方向不同。统计侧重机器学习、大数据处理及广泛领域应用；数学金融则深入金融建模、衍生品定价等专业领域。建议新生结合兴趣（数据算法vs金融建模）与职业规划（数据科学家vs量化分析师），利用大一大二共同基础课程进行体验后选择。两个专业基础课高度相似，扎实掌握数学与编程核心能力是关键。
动手学深度学习2.0-李沐Pytorch版
最新发布
qq_43361801的博客
07-24 227
教材的pdf我已经上传到资源啦！动手学深度学习在线课程。
Mamba（SSM、S4、S4）
BigGod139的博客
07-23 737
状态空间模型SSM，20世纪60年代有卡尔曼等研究者提出，概念很在提出。连续SSM一般形式如下：State Equation：x′(t)=Ax(t)+Bu(t)x'(t) = Ax(t) + Bu(t)x′(t)=Ax(t)+Bu(t) 其中：Output Equation：y(t)=Cx(t)+Du(t)y(t) = Cx(t) + Du(t)y(t)=Cx(t)+Du(t) 或 y(t)=Cx(t)y(t) = Cx(t)y(t)=Cx(t) 其中：离散SSM一般形式如下：与连续SSM相比，x,t,u,
《使用Qt Quick从零构建AI螺丝瑕疵检测系统》——1. 启航：你的第一个工业视觉应用
大家好，我是阿彬，专注于机器视觉中的细节之美与技术之道
07-21 1421
本文介绍了基于Qt 6的工业AI视觉检测软件开发全流程。项目面向工业4.0需求，通过机器视觉技术实现精密元器件的自动瑕疵检测。系统采用Qt Quick构建现代化UI，集成YOLOv8深度学习模型进行实时检测，支持与PLC硬件联动和数据上报MES系统。文章详细说明了开发环境配置（Qt 6.9.1+MSVC+OpenCV）、项目创建步骤、应用程序图标设置等关键环节，并提供了完整的开源代码仓库链接。该方案可替代传统人工目检，实现高效、精准的工业质量控制自动化。
基础NLP | 常用工具
xhxhss的博客
07-24 120
横幅检测数据集-1500张图片 智慧城市管理 活动现场管理 商业广告分析
cver123的博客
07-21 829
横幅检测数据集-1500张图片 智慧城市管理 活动现场管理 商业广告分析
『OpenCV-Python』加载网络图片
weixin_39415598的博客
07-21 680
前面介绍过在 OpenCV 里可以通过cv2.imread读取本地图片，但这个方法无法读取网络图片。
elasticsearch rag
01-04
### Elasticsearch Retrieval-Augmented Generation Implementation and Best Practices #### Understanding the Integration of Elasticsearch with RAG Elasticsearch serves as a powerful tool within the context of implementing retrieval-augmented generation (RAG). The integration leverages Elasticsearch's capabilities in handling large volumes of data efficiently while providing fast query responses. This setup enhances the performance of language models when generating text based on retrieved information from vast datasets. For instance, one can refer to practical examples provided through GitHub repositories such as `langchain-elasticsearch-RAG`[^1], showcasing how these technologies work together seamlessly for specific applications like document summarization or question answering systems. #### Data Indexing Strategy In designing an effective RAG system utilizing Elasticsearch, careful consideration must be given to how data gets indexed. An index structure similar to that found in traditional relational databases plays a crucial role here—each record corresponds to entries within this schema-specific container[^3]. When dealing with dynamic content streams or log analysis scenarios, daily indices might prove beneficial due to their ability to manage time-series data effectively without compromising search efficiency across multiple periods simultaneously. #### Text Segmentation Techniques To optimize interactions between Elasticsearch and LLMs during the preprocessing phase before feeding into any generative model, appropriate segmentation strategies become essential. Two primary aspects influence decision-making regarding splitting documents: - **Token Limitation**: Adhering strictly to embedding models' token constraints ensures compatibility. - **Semantic Integrity**: Maintaining coherent meaning units improves overall retrieval quality significantly[^4]. Common approaches include sentence-based partitioning, paragraph-level divisions, or even custom logic tailored specifically towards domain-specific requirements ensuring both conditions above remain satisfied adequately throughout processing stages leading up until final output generation via chosen neural architectures employed post-retrieval steps. #### Code Example Demonstrating Basic Setup Below demonstrates setting up basic components necessary for integrating Elasticsearch alongside Python-based NLP pipelines supporting RAG workflows: ```python from elasticsearch import Elasticsearch import langchain.elasticsearch_rag as rag es_client = Elasticsearch() def initialize_index(): es_client.indices.create( index="product_catalog", body={ "settings": { "number_of_shards": 1, "analysis": { "analyzer": {"default": {"type": "standard"}} } }, "mappings": { "properties": { "title": {"type": "text"}, "description": {"type": "text"} } } }, ignore=400) initialize_index() ``` This snippet initializes an Elasticsearch cluster configured appropriately for storing structured metadata about products intended later use within downstream tasks involving natural language understanding processes powered by advanced machine learning techniques implemented over RESTful APIs exposed externally through web services architecture patterns common today among cloud-native deployments targeting scalable solutions capable enough meeting modern enterprise demands around big data analytics platforms built atop distributed computing frameworks optimized toward real-time insights extraction directly out-of-the-box without requiring extensive customization efforts upfront investment costs associated traditionally seen elsewhere inside IT departments managing legacy infrastructure environments not designed originally keeping current trends mind at all times moving forward strategically speaking. --related questions-- 1. How does Elasticsearch handle high-frequency updates in indexes used for RAG? 2. What are some best practices for optimizing queries in Elasticsearch for better RAG performance? 3. Can you provide more details on configuring Elasticsearch settings for optimal text retrieval? 4. Are there alternative methods besides daily indexing for improving temporal data management in Elasticsearch? 5. Which factors should be considered when choosing between different text segmentation algorithms for preparing input for RAG?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值