Planning In Natural Language Improves LLM Search For Code Generation

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量229 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM for code 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/142333255

本文是LLM系列文章，针对《Planning In Natural Language Improves LLM Search For Code Generation》的翻译。

用自然语言进行规划改进了LLM搜索代码生成

摘要

虽然扩展训练计算已经导致大型语言模型 (LLM) 的显着改进，但扩展推理计算尚未产生类似的收益。我们假设核心缺失部分是缺乏多样化的 LLM 输出，由于模型重复采样高度相似但不正确的生成，导致搜索效率低下。我们凭经验证明，可以通过搜索用自然语言解决问题的候选计划来缓解这种多样性的缺乏。基于这一见解，我们提出了 PLANSEARCH，这是一种新颖的搜索算法，它在 HumanEval+、MBPP+ 和 LiveCodeBench（竞争性编码的无污染基准）上显示出强大的结果。 PLANSEARCH 生成关于问题的一组不同的观察结果，然后使用这些观察结果来构建解决问题的计划。通过使用自然语言搜索计划而不是直接搜索代码解决方案，与基线搜索方法相比，PLANSEARCH 探索了更加多样化的潜在解决方案。在 Claude 3.5 Sonnet 之上使用 PLANSEARCH 在 LiveCodeBench 上实现了 77.0% 的最先进的 pass@200，优于没有搜索时获得的最佳分数 (pass@1 = 41.4%) 和使用标准重复采样 (pass@ 200 = 60.6%）。最后，我们表明，在所有分析的模型、搜索算法和基准测试中，我们可以准确预测搜索带来的性能增益，作为生成想法的多样性的直接函数。

1 引言

2 相关工作

3 动机

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM 怎样用于 OLAP 自助式数据分析？
AI天才研究院
07-03 5783
Microsoft宣布了一款名为 Fabric的数据分析产品。Fabric最令人兴奋的功能之一是聊天界面，允许用户用人类语言提出数据问题。因此，每个人都无需在数据请求队列中等待，而是可以即时获得数据问题的答案。
【大模型】大语言模型简介
AI天才研究院
04-03 2万+
因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅实现了显着的性能提升，而且还表现出一些小规模语言模型所不具备的特殊能力。如 Google 发布的多模态具身视觉语言模型 PaLM-E，由540B 的 PaLM 文本模型和 22B 的 VIT 图像模型构成，两者集成处理多模态信息，所以它的总模型规模是 566B。随着模型规模的不断增长，任务效果也持续增长，说明这类任务对大模型中知识蕴涵的数量要求较高。
Planning In Natural Language Improves LLM Search For Code Generation翻译
nopSled
10-05 323
学习和搜索。尽管大型语言模型的最新进展消除了人们对学习有效性的所有怀疑，但搜索尚未证明其对大型语言模型的价值，尽管它在经典机器学习技术上取得了成功。在这里，我们将搜索称为在推理时花费额外计算量以提高整体性能的任何方法。在这项工作中，我们专注于改进 LLM 搜索以生成代码，这是 LLM 当前最重要的应用之一。我们假设，阻碍在推理时广泛使用代码搜索的主要瓶颈是模型输出缺乏高级多样性。这种缺乏多样性的部分原因可能是通常用于将 LLM 训练为聊天机器人的特定后训练目标，其中模型通常经过优化以产生单个正确答案。
探索自然语言中的计划搜索：提升大型语言模型代码生成性能的新方法
zenRRan的博客
09-09 1162
论文：Planning In Natural Language Improves LLM Search For Code Generation 链接：https://arxiv.org/pdf/2409.03733研究背景研究问题本文研究了如何在大语言模型（LLMs）的推理计算中进行有效的搜索，以提高代码生成的性能。具体来说，作者发现当前LLMs在推理时缺乏多样性，导致搜索效率低下。研究难点该问题...
Scale AI：先观察再搜索的LLM代码生成
大模型任我行的博客
09-17 974
如何通过自然语言规划，提高大语言模型（LLM）在代码生成任务中的搜索效率？论文提出了一种名为PLANSEARCH的新方法，通过在问题空间中引导模型生成各种观察，然后将这些观察转化为代码解决方案。
一文总览OpenAI o1相关的技术：从CoT、Quiet-STaR、Self-Correct、Self-play RL、MCTS等到类o1模型rStar-Math
热门推荐
结构之法 算法之道
10-12 5万+
可能是去年写或讲的关于ChatGPT原理的文章和课程，影响力太大了导致​​自从OpenAI o1出来后，每过两天，就有朋友问，“校长 o1啥时候出解读或课程”，实在是各个大模型项目上的事情太多，加之近期一直在抠机器人(比如本博客内连发了五篇机器人相关的文章，再不刻意强插一下比如o1，真的很难停下来)但，今天又有朋友来问，故，准备并行开写o1了一开始，我主要是看的这几个资料但随着本文越写越深，挖出来的相关资料也越来越多，我会竭尽所能，确保本文具备以下两大特征。
LLMs之Agent：Personal_LLM_Agents_Survey的简介、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-17 4万+
​ LLMs之Agent：Personal_LLM_Agents_Survey的简介、使用方法之详细攻略 目录 Personal_LLM_Agents_Survey的简介 Personal_LLM_Agents_Survey的使用方法 Personal_LLM_Agents_Survey的简介 个人LLM代理(智能体)被定义为一种特殊类型的基于LLM的代理，它与个人数据、个人设备和个人服务深度集成。它们最好部署到资源受限的移动/边缘设备和
LLMs：《d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-07 1200
​ LLMs：《d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning》翻译与解读 目录 《d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning》翻译与解读 Abstract 1、Introduction Conclusion
Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models思想缓冲:大型语言模型的思维增强推理
weixin_44182383的博客
06-13 1158
进一步的分析表明，我们的BoT具有卓越的泛化能力和模型鲁棒性，而平均只需要多查询提示方法(例如，树/思想图)的12%的成本。我们的方法有三个关键优势:(i)准确性提高:通过共享的思想模板，我们可以自适应地实例化处理不同任务的高级思想，从而消除了从头开始构建推理结构的需要，从而提高了推理准确性。具体来说，我们设计了元缓冲区，这是一个轻量级的库，包含一系列通用的高级思想(思想模板)，这些思想是从不同的问题解决过程中提炼出来的，可以跨任务共享。4. 我们对10个具有挑战性的推理密集型任务进行了广泛的实验。
RT-2论文翻译: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
机器学习实战
01-26 1553
在广泛的Web规模数据集上预训练的高容量模型为各种下游任务提供了有效且强大的平台：大型语言模型不仅可以实现流畅的文本生成（Anil等，2023；Brohan等，2022；OpenAI，2023），还能实现新兴的问题解决（Cobbe等，2021；Lewkowycz等，2022；Polu等，2022）以及散文（Brown等，2020；OpenAI，2023）和代码（Chen等，2021）的创造性生成，而视觉语言模型则实现了开放词汇的视觉识别（Kirillov等，2023；Minderer等，2022；
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 207
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 480
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 317
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 145
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1665
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 478
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 656
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 198
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 37
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
Rationale Using braces to indicate init ialization of subobjects improves the clarity of code and forces programmers to consider the initialization of elements in complex data structures such as multi-dimensional arrays or arrays of structures.
07-04
你提供的这段说明： > **Rationale** > Using braces to indicate initialization of subobjects improves the clarity of code and forces programmers > to consider the initialization of elements in complex data structures such as multi-dimensional arrays > or arrays of structures. 是 MISRA C 规则中关于**初始化器使用显式大括号 `{}` 来表示子对象初始化**的合理性解释。它出自 **MISRA C:2012 Rule 9.3**（或类似的规则），强调了在复杂结构初始化时，使用嵌套大括号来提高代码清晰度和可维护性。 --- ### ✅ 规则背景 该规则的核心思想是： - 在初始化复合类型（如结构体、数组、多维数组、结构体数组等）时，**应使用嵌套的大括号来明确表示每个子对象的初始化范围**。 - 这样做可以： - 提高代码的可读性和可维护性； - 防止因编译器自动填充而产生的误解； - 强迫开发者明确考虑每一个子对象的初始化值。 --- ### 🧠 示例对比 #### ❌ 不推荐：省略嵌套大括号 ```c int arr[2][2] = {1, 2, 3, 4}; ``` 虽然语法合法，但阅读者不容易看出哪几个值对应哪个子数组。 #### ✅ 推荐：使用嵌套大括号明确初始化结构 ```c int arr[2][2] = { {1, 2}, {3, 4} }; ``` 这样写更清晰地表达了二维数组的逻辑结构。 --- ### 🧱 结构体数组示例 #### ❌ 不推荐 ```c typedef struct { int x; int y; } Point; Point points[2] = {1, 2, 3, 4}; ``` 难以一眼看出 `x` 和 `y` 的配对关系。 #### ✅ 推荐 ```c Point points[2] = { {1, 2}, {3, 4} }; ``` 这种写法一目了然地表明了每个 `Point` 的成员值。 --- ### ⚠️ 注意事项 - 虽然C语言允许“扁平”初始化方式（即不使用嵌套大括号），但在 MISRA 指南下，这被认为是不良实践。 - 使用显式嵌套大括号有助于防止将来修改时出错。 - 对于大型项目或团队协作，统一使用嵌套初始化风格非常重要。 --- ### ✅ 总结 - 使用嵌套大括号 `{}` 明确初始化子对象是一种良好的编码习惯。 - 它符合 MISRA 关于提高代码可读性和安全性的原则。 - 特别适用于多维数组、结构体数组等复杂数据结构的初始化。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值