ICLR 2026提交( “Active Submissions” )文章中大语言模型(LLM)驱动的算法设计/优化 相关的摘要整理。Large Language Model (LLM)–driven automated algorithm design and heuristic generation. Focus on studies where LLMs are used to generate evolving or optimization algorithms, heuristic rules, or solving strategies.
| 序号 | 英文标题 | 中文标题 | 链接 | 摘要速览 |
|---|---|---|---|---|
| 1 | Generalizable Heuristic Generation Through LLMs with Meta-Optimization (MoH) | 通过大语言模型与元优化生成可泛化启发式算法 | https://openreview.net/forum?id=tIQZ7pVN6S | 本文提出一个称为 MoH(Meta-Optimization of Heuristics)的框架,通过元学习层面,利用 LLM 来自动构造“启发式优化器”(heuristic-optimizers),从而为组合优化问题(COPs)生成多样且可泛化的启发式算法。传统方法依赖手工定义的进化计算优化器且多为单任务训练,限制了算法多样性与泛化能力。本方法一方面让 LLM 对优化器进行迭代自调用,消除手工预定义优化器的依赖;另一方面采用多任务训练以增强泛化。实验结果表明,在多个经典 COP 上,该方法在跨规模(cross-size)设置下达到了最新性能。 |
| 2 | Rethinking Code Similarity for Automated Algorithm Design with LLMs | 用大语言模型的自动算法设计:重新思考代码相似性 | https://openreview.net/forum?id=HIUqeO9OOr | 本文关注于 LLM 驱动的自动算法设计(AAD)过程中**“生成算法”与“已有算法”之间的相似性评估问题**。作者指出,传统基于代码文本或语法的相似度度量难以反映算法在求解行为上的真正差异,因此提出用**算法运行轨迹(中间解状态序列)**来衡量行为相似度,并将该度量用于 LLM 生成与组合算法过程。通过在若干 AAD 任务中将行为相似度纳入搜索/筛选策略,作者发现其生成的算法在多样性与性能上优于仅依赖文本相似度的对照。研究结论为:在 LLM 辅助算法生成中,引入行为层面的相似性度量能更好地推动新颖、高效算法的发现。 |
| 3 | CALM: Co-evolution of Algorithms and Language Model for Automatic Heuristic Design | CALM:算法与语言模型的协同进化用于自动启发式设计 | https://openreview.net/forum?id=x6bG2Hoqdf | 针对传统优化算法依赖专家经验、现有基于大语言模型的启发式方法仅通过提示语指导而忽略模型自适应调整的局限,我们提出融合语义指导与数值指导的混合框架。该方法通过强化学习对LLM进行微调,使其能根据生成启发式规则的质量进行参数更新,从而实现语言模型与搜索过程的协同进化。实验采用单张24GB显卡部署的7B模型(INT4量化),在多个优化任务中显著超越仅依赖提示语指导的现有最优方法,其性能甚至优于使用更强API模型的基准方案,验证了联合优化框架在资源受限环境下实现高效启发式规则自主发现的可行性。 |
| 4 | Automated Algorithm Design with LLMs: A Benchmark-Assisted Approach to Black-Box Optimization | 用 LLM 自动算法设计:基准辅助的黑盒优化方法 | [OpenReview]https://openreview.net/forum?id=ad9BPW5bI6 | 现有研究主要关注LLM在解决特定问题上的有效性,其搜索策略多通过自适应提示设计来引导。本文通过分析提示内容对LLM生成算法代码的逐词归因,发现提供高质量的算法代码示例能显著提升LLM驱动优化的性能。基于这一发现,我们提出利用现有基准测试算法来引导LLM驱动的优化过程,并在两个黑盒优化基准测试集——伪布尔优化套件(pbo)与黑盒优化套件(bbob)上验证了该方法的优越性能。我们的研究结果表明,通过整合基准测试研究成果,可有效提升LLM驱动黑盒优化方法的效率与鲁棒性。 |
| 5 | Experience-Guided Reflective Co-Evolution of Prompts and Heuristics for Automatic Algorithm Design | 经验引导的提示与启发式协同进化用于自动算法设计 | https://openreview.net/forum?id=oD9RwlFqEE | 本文针对当前基于大型语言模型(LLM)的自动启发式算法设计方法所普遍存在的易陷入局部最优解的问题,提出了一种名为EvoPH(经验引导的反射协同进化) 的新框架。该框架的核心解决方案是将提示与启发式策略进行协同进化,其具体实现方式是融合了岛屿迁移模型和MAP elites算法,以此来模拟和维持一个多样化的启发式算法种群,从而有效避免搜索过程早熟收敛。 |
| 6 | HiFo-Prompt: Prompting with Hindsight and Foresight for LLM-based Automated Heuristic Design | HiFo-Prompt:用于 LLM 自动启发式设计的前瞻-回顾式提示 | https://openreview.net/forum?id=imSLzfZ6av&utm_source=chatgpt.com | 本文针对 LLM 在 AHD 中缺乏长期全局控制与长期记忆(导致短视变异、难以形成长期改进)的挑战,提出 HiFo-Prompt 框架:在每次生成时同时提供“前瞻(Foresight)”——即基于目标函数和预计影响的未来情境提示,以及“回顾(Hindsight)”——即基于先前个体表现与失败/成功案例的反思摘要,以此协同引导 LLM 产生既考虑短期改进又有助于长期稳健性的启发式改动。作者在数个 AHD 基准上与传统 prompt 策略比较,实验证明 HiFo-Prompt 可以提高进化收益的持续性与长期收敛质量。 |
| 7 | AutoMOAE: Multi-Objective Auto-Algorithm Evolution (LLM + EA) | 自动多目标算法进化(LLM + 进化算法) | https://openreview.net/forum?id=G8tP1Z9dLy | 本文针对自动算法设计往往只优化单一目标(如解质量)的问题,提出 AutoMOAE 框架,将 LLM 作为候选算法/算子生成器嵌入到多目标进化算法(MOEA)流程中,在多个目标(如解质量、运行时、资源消耗)之间优化平衡。具体做法包括设计 LLM prompt 生成算子、定义多目标评价函数(包括代码长度惩罚以控制成本)、和在进化循环中保留精英解。作者在图着色与 TSP 问题上进行了实验,对比专家手工算法与单目标/多目标自动算法,结果表明 AutoMOAE 在这些基准上能匹配甚至超越手工方案,并具备在不同问题域迁移的能力。研究表明,将多目标优化框架和 LLM 生成器结合是增强自动算法设计实用性的有效方向。 |
| 8 | RedAHD: Toward End-to-End LLM-Based Automatic Heuristic Design using Reductions | RedAHD:基于“问题归约”的端到端 LLM 自动启发式设计 | https://openreview.net/forum?id=6f8qlK7wN4 | 本文识别出当前 LLM 辅助启发式设计多依赖预定义通用算法框架(GAF),人工介入仍多,难以做到真正端到端。为此,作者提出 RedAHD 框架,它让 LLM 自动化执行问题归约(即将给定组合优化问题转化为更易被 LLM 处理的形式),随后再由 LLM 生成启发式求解器,并将其结果映射回原问题。作者在六类组合优化问题(COP )上进行了评估,结果显示 RedAHD 在人工干预极少的情况下生成的启发式与现有最先进方法相比具有竞争力甚至超越性能。研究揭示,问题归约+ LLM 生成是推动自动启发式设计向端到端迈进的重要路径。 |
| 9 | QUBE: Enhancing Automatic Heuristic Design via Quality-Uncertainty Balanced Evolution | 通过质量-不确定性平衡进化提升自动启发式设计 | https://openreview.net/forum?id=y8Ctbiriia | 针对 LLM 嵌入进化式自动启发式设计时常出现“开发出看起来质量高但不稳健/不确定性较高的启发式”这一现实问题,本文提出 QUBE框架:在进化选择与变异环节同时考虑启发式的期望质量和不确定性(由多次 LLM 采样及评估度量),通过在适应度函 数中引入不确定性惩罚或约束来平衡探索-利用,从而避免被“高方差但偶尔表现极好”的候选误导进化过程。作者在若干 NP-hard 组合优化基准上与 FunSearch、EoH 等 LLM-EA 方法对比,实验证明 QUBE 在最终启发式的平均可靠性与稳健性上有明显提升,同时能保持或改善解质量,说明在 AHD 中显式建模并优化“不确定性”是提升可部署启发式的一条有效途径。 |
| 10 | HeuriGym: An Agentic Benchmark for LLM-Crafted Heuristics in Combinatorial Optimization | HeuriGym:面向 LLM 生成启发式的代理式基准(组合优化) | https://openreview.net/forum?id=HWxHUO15Yy | 本文提出 HeuriGym,一套为考察 LLM 在组合优化中生成、执行、迭代改进启发式能力而设计的“代理式”基准体系。该体系允许 LLM 生成启发式策略(以代码或策略描述形式)、在环境中执行并获取反馈、根据反馈迭代改进,且引入一种新的评价指标 Quality-Yield Index (QYI) 来综合衡量启发式质量与解的产生率。作者在九款主流 LLM (包括商用与开源)上评估多个组合优化任务,结果显示即便最强 LLM 在 QYI 上也远低于人工专家基线,凸显出当前 LLM 在启发式设计与应用中的明显短板。研究强调:要提高 LLM 在算法/启发式生成中的实用性,必须有更标准化、严谨的基准机制。 |
| 11 | Fusing LLMs with Scientific Literature for Heuristic Discovery (KA-EAD) | 将 LLM 与科学文献融合以发现启发式(知识增强进化算法设计) | https://openreview.net/forum?id=lwqeXDYKWJ | 本文指出 LLM 在启发式生成过程中可能忽视领域专家知识,因而提出 KA-EAD (knowledge-augmented evolutionary algorithm design) 框架:在演化启发式生成流程中,自动构造检索查询以从领域文献语料中获得“知识块”,将这些知识注入 LLM 的 prompt/context 中,再由 LLM 生成启发式并在进化循环中筛选。作者在若干组合优化任务上对比了纯 LLM 进化、知识增强 LLM 进化与专家方法,实验结果显示知识增强方式显著提升了启发式的有效性和可解释性。研究结论为:在自动化启发式发现中,融合可验证的科学文献知识可显著提升生成质量和领域对齐度。 |
| 12 | Adversarial Examples for Heuristics in Combinatorial Optimization: An LLM Based Approach | 组合优化中针对启发式的对抗样本:一种基于 LLM 的方法 | https://openreview.net/forum?id=fasU6t3hL4 | 本文提出了一个新视角——启发式算法在组合优化中可能被精心构造的对抗实例击败。作者设计了 LLM-驱动的方法,用于自动生成针对特定启发式的对抗样本: LLM 被提示生成或修改问题实例,使得广泛使用的启发式算法性能显著下降,然后这些对抗实例用于启发式的鲁棒性测试或改进。作者在若干组合优化任务中展示了 LLM 生成的对抗实例确实能大幅降低指定启发式的表现,并分析了对抗模式与启发式弱点之间的关系。研究表明:利用 LLM 探测启发式脆弱性是一条值得进一步拓展的自动算法设计辅助手段 |
| 13 | Improving LLM Symbolic Problem-Solving via Automated Heuristic Discovery | 通过自动启发式发现改进 LLM 的符号问题求解 | https://openreview.net/forum?id=yX1gmPYHOL | 本文关切的是 LLM 在结构化/符号题目(如算法题、组合推理题)上的局限——策略错误、搜索效率低。为此,作者在 LLM 的解题流程中加入一个自动启发式发现模块:允许 LLM 或辅助系统生成可能提高解题成功率的启发式(如选择运算顺序、子问题分解策略),然后将这些启发式注入 LLM 的思路生成环节。作者在若干符号推理/算法题数据集上比较了原始 LLM、规则启发式增强 LLM 与自动启发式增强 LLM 的准确率、步骤数和失败模式。实验显示,自动发现的启发式能显著提升 LLM 在这些任务上的成功率与解质量。研究指出:启发式发现是 LLM 增强结构化推理能力的有效路径。 |
| 14 | Hierarchical Representations for Cross-task Automated Heuristic Design using LLMs | 基于大语言模型的跨任务自动启发式设计分层表示法 | https://openreview.net/forum?id=dgvx86qybJ | 本文针对现有LLM自动启发式设计方法生成的算法泛化能力弱、局限于特定任务的问题,提出多任务分层搜索框架。该方法通过分层表示与协同进化机制,同步优化通用元启发式规则与具体任务程序,并利用跨任务知识转移提升性能。在多个组合优化问题上的实验表明,该方法显著优于传统启发式算法与现有AHD方法,有效增强了生成算法的泛化能力。 |
| 15 | TPD-AHD: Textual Preference Differentiation for LLM-based Automatic Heuristic Design | TPD-AHD:面向 LLM 的自动启发式设计的文本偏好分化 | https://openreview.net/forum?id=VEMknlIPtM | 本文观察到在用 LLM 作为变异/生成算子时,prompt 中的文本偏好(例如示例风格、描述粒度)会强烈影响生成启发式的风格与性能;为此提出 TPD-AHD(Textual Preference Differentiation for AHD),它通过**“基准锚定 + 文本差异化”策略迭代地识别并放大**那些与高质量启发式相关的文本微结构(文本偏好),并在进化过程中以带权重的多样化 prompt 集群来引导 LLM 生成更稳定且可持续改进的启发式。作者在若干 COP(如 TSP、BPP)上做 ablation 与对比实验,结果显示 TPD-AHD 能提高进化收敛稳定性并获得更具可迁移性的启发式样本 |
| 16 | CodePDE: An Inference Framework for LLM-driven PDE Solver Generation | CodePDE:一种大语言模型驱动的偏微分方程求解器生成推理框架 | https://openreview.net/forum?id=q196xGhRMa | 本文针对传统数值方法和神经网络在偏微分方程求解中存在的实现复杂、计算量大或缺乏可解释性等问题,创新性地将PDE求解构建为代码生成任务,提出了首个基于大语言模型的推理框架CodePDE。该框架通过系统评估LLM的推理、调试等核心能力,证明结合先进推理算法后,LLM能在多类PDE问题上取得优异性能。研究进一步揭示了求解器复杂度与可靠性的权衡关系等新发现,为开发更可靠的LLM科学计算引擎提供了重要指导。 |
| 17 | VRPAgent: LLM-Driven Discovery of Heuristic Operators for Vehicle Routing | VRPAgent:面向车辆路径问题的 LLM 启发式算子发现 | https://openreview.net/forum?id=02mBAZjFzp | 本文聚焦于车辆路径问题(VRP)这一实际工程中高度约束的组合优化任务,提出 VRPAgent 框架:将 LLM 作为启发式算子(例如局部重接、路径重分配)生成器,并结合 Large Neighborhood Search (LNS) 与遗传算法结构来搜索与筛选这些算子;代码长度惩罚机制用于控制 LLM 调用成本。作者在多个 VRP 变体与标准基准上比较了生成算子与现有启发式/元启发式算法,实验显示 VRPAgent 能自动发现强有力算子,并在性能上取得实质提升。研究表明:在工程级复杂优化任务中, LLM 可用于启发式算子自动发现,其与元启发式结构结合具备实际价值。 |
| 18 | LLMs for Sequential Optimization Tasks: from Evaluation to Dialectical Improvement | 大语言模型在序列优化任务中的应用:从评估到辩证改进 | https://openreview.net/pdf/f581f9263e6d1d03ff47d55fde13805e2affca18.pdf | 这篇论文探讨了大型语言模型(LLM)在解决序列优化问题(Sequential Optimization Problems, SOPs)中的潜力。作者提出了一个动态基准WorldGen,用于生成具有可控复杂度的未见优化任务,以系统评估模型的推理与规划能力。研究发现,LLM 在简单任务上表现良好,但在复杂任务中性能显著下降。为此,作者借鉴黑格尔辩证法(Hegelian Dialectics)思想,提出了一个无需再训练或微调的ACE 辩证框架,通过“正题—反题—合题”的推理机制,有效提升了 LLM 在复杂优化任务中的适应性与表现。 |
| 19 | Evaluating LLMs for Combinatorial Optimization: One-Phase and Two-Phase Heuristics for 2D Bin-Packing | 评估LLMs在组合优化中的应用:针对二维装箱问题的单阶段与两阶段启发式方法 | https://openreview.net/pdf/de4a364c7c7100c8f910f511cb4123d94f6d5053.pdf | 该论文提出了一种用于评估大语言模型(LLMs)在组合优化任务中能力的评测框架,以二维装箱问题(2D bin-packing)为研究对象。作者将LLM 与进化算法(Evolutionary Algorithms)结合,构建出一种迭代生成与优化启发式解的系统方法。实验结果表明,LLM 生成的启发式算法优于传统的 Finite First-Fit 与 Hybrid First-Fit 方法,能在更少的计算资源下得到更高效的解。其中,GPT-4o 在 两轮迭代内 即达到最优解,平均箱数从 16 减少到 15,空间利用率从 0.76–0.78 提升至 0.83。该研究为 LLM 在组合优化领域的评估与基准建立 提供了重要参考。 |
| 20 | AutoFloorplan: Evolving Heuristics for Chip Floorplanning with Large Language Models and Textual Gradient-Guided Repair | AutoFloorplan:利用大型语言模型和文本梯度引导修复来演进芯片布图规划的启发式算法 | https://openreview.net/pdf/9c5f041f4501c782978ad092f68f29b21891a8a5.pdf | AutoFloorplan 是一种新颖的演化学习框架,旨在解决极大规模集成电路(VLSI)设计中具有挑战性的芯片布图规划(Chip Floorplanning) 问题(一个NP-hard组合优化问题)。 它利用大型语言模型(LLMs) 作为智能群体生成器,自动发现复杂且有效的布图规划启发式算法(heuristics),打破了传统上对人类专业知识的依赖。针对LLMs生成的启发式算法中很多会违反严格的几何和拓扑约束的问题,该框架设计了一个基于**文本梯度(textual gradients)**的创新性修复操作符。该操作符能分析算法低效的原因,并提供纠正性反馈,从而引导算法结构走向有效且高性能的方案。实验证明 AutoFloorplan 显著加快了发现合法且有效启发式算法的速度。在八个不同的公共电路上进行的大量实验表明,AutoFloorplan 的性能优于当前的 State-of-the-Art(SOTA)布图规划算法。 |
| 21 | Cognitively Inspired Reflective Evolution: Interactive Multi-Turn LLM–EA Synthesis of Heuristics for Combinatorial Optimization | 受认知启发的反思性演化:用于组合优化的交互式多轮LLM-EA启发式算法合成 | https://openreview.net/pdf/1e77f8f4f009113bfbda64b68694964cde26a7bd.pdf | 该研究提出了 Cognitively Inspired Reflective Evolution (CIRE) 混合框架,旨在克服现有大型语言模型(LLMs)在设计NP-hard组合优化启发式算法时仅依赖单次代码生成、缺乏迭代推理能力的局限。CIRE将 LLM作为交互式、多轮次的推理器 嵌入演化算法(EA)中:它通过性能聚类为LLM提供精炼的上下文,然后利用LLM进行多轮反馈驱动的反射,生成有针对性的优化建议来扩展搜索空间,并由EA元控制器协调集成。在基准组合优化问题上的实验证明,CIRE生成的启发式算法更鲁棒、更多样化,性能显著优于单次LLM生成等基线方法,表明交互式、认知启发的多轮推理是自动化启发式算法设计的新兴且有前景的范例。 |
| 22 | Automating Thought of Search: A Journey Towards Soundness and Completeness | 自动化 Thought of Search:迈向严谨性与完备性之旅 | https://openreview.net/pdf/14c62a3d7653c4d2c0ae9dced9c3defcb8983b62.pdf | 为了克服现有方法中大型语言模型(LLMs)在解决规划问题时作为世界模型牺牲严谨性(soundness)的不足,最近的 Thought of Search (ToS) 框架提出让LLMs生成定义搜索空间的代码,从而实现了 100% 的准确率,但代价是需要人类专家参与协作。该研究通过引入 AutoToS 框架,迈出了自动化 ToS 流程的关键一步,成功地将人类从交互循环中移除;AutoToS 利用通用和领域特定的单元测试反馈,引导LLM一步步生成严谨且完备的搜索组件代码,并证明了它能以少量LLM调用在所有评估的规划领域中达到 100% 的准确率,展现了自动化、严谨规划的巨大潜力。 |
| 23 | Building Learning Context For Autonomous Agents Through Generative Optimization | 通过生成式优化为自主智能体构建学习上下文 | https://openreview.net/pdf/a63374b2ac32218fd4ace17b6176ad2e8cd6462f.pdf | 该研究发现,当前基于大型语言模型(LLMs)的生成式优化框架在智能代理行为学习中存在问题未被充分指定的缺陷。为确保代理学习到正确行为,研究强调必须设置正确的学习上下文。针对此问题,研究提出通过模板构建元图(meta-graph)来引入正确的学习上下文。这一改进使代理能够在数据科学、计算机安全、博弈等三类软件工程问题中稳定学习。研究特别展示了首次使用生成式优化器学习可玩 Atari 游戏的可执行程序,其性能可与深度强化学习匹敌,而**训练时间减少了 50% 到 90%**,证明了定义正确学习上下文对齐代理行为与设计者目标的关键作用。 |
| 24 | Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning | 大规模演化策略:超越强化学习的LLM微调 | https://openreview.net/pdf/7f685d049d20f2081b3fb36e81246c2652b3b2db.pdf | 这项研究报告了首次成功将演化策略(Evolution Strategies, ES)扩展用于微调大型语言模型(LLMs)的全部参数。它打破了对ES在大规模模型上扩展性的悲观认知,令人惊讶地证明ES能够高效地搜索数十亿参数,并在多个关键方面超越现有的强化学习(RL)微调方法。具体而言,ES在样本效率、对长远期奖励的容忍度、对不同基础LLMs的鲁棒性、更小的奖励欺骗倾向以及跨运行的更稳定性能上均表现更优。因此,这项工作为LLM微调开辟了一个超越当前RL技术的新方向,为AI部署管线中的关键步骤奠定了新的基础。 |
| 25 | ENCOURAGING CRITICAL THINKING FOR MULTIAGENT DEBATE | 鼓励多智能体辩论中的批判性思维 | https://openreview.net/pdf/e4e36f9dc875aba53ed372517357cb765839bfa5.pdf | 该研究针对大型语言模型自我迭代中存在的同质化推理和收益递减问题,提出了一个创新解决方案:通过策略生成器作为批判性思维智能体,为不同LLM生成定制化指令。该方法的核心优势在于通过迭代微调多样化策略,在提升单个模型专业化能力的同时,确保整个系统推理路径的多样性,从而打破固有思维模式,实现持续性能提升。 |
| 26 | Self-Directed Discovery: How LLMs Explore and Optimize Configurable LLM Solutions | 自我导向发现:大语言模型如何探索与优化可配置的LLM解决方案 | https://openreview.net/pdf/78c18b83b70e26bd034f58f798a11249cce0b831.pdf | 本文提出了一种配置驱动框架,利用LLM自身实现LLM解决方案的自动化优化。该框架通过标准化定义工作流程组件,使优化代理能够执行自动迭代改进,在保持方案可解释性的同时发现更优解。该系统展现出自指涉特性,并成功弥合了通用自动优化与专项技术之间的鸿沟,形成一个自我改进的闭环。 |
| 27 | Few-Shot Idea Auto-Generation: Reasoning Over Idea Representations to Predict New Research Ideas | 小样本思路自动生成:通过对思路表征进行推理以预测新的研究思路 | https://openreview.net/pdf/b23c4d24ea3a8da465b579d6512759dea4f1cb4f.pdf | 本文针对直接提示大语言模型生成研究思路效果不佳的问题,提出了小样本思路自动生成这一新任务。其核心思想是,有价值的研究思路并非凭空产生,而是基于对现有工作的构建,例如通过跨领域迁移解决方案并结合新算法。为解决此任务,论文重点应对了三大挑战:如何有效表征现有论文的核心思想、如何生成可行的思路并过滤无效内容,以及如何验证生成结果。其主要贡献包括:1)一种通过多智能体提取(结合概要与流程剖析)来捕获论文核心贡献的思路表征方法;2)一个基于LLM智能体的生成框架,通过在论文对间进行系统性的差距弥合来实现思路交叉融合;3)一套结合了语义相似性分析与时效加权新颖性评分的评估方法,并构建了一个大规模基准用于评估。这项工作旨在推动LLM在自动化科学研究中的应用。 |
| 28 | A Problem-Oriented Perspective and Anchor Verification for Code Optimization | 面向代码优化的问题导向视角与锚点验证 | https://openreview.net/pdf/75e13bd1a59febfd6ccdc8d316a5ee4b59546c28.pdf | 本文聚焦于利用大语言模型进行代码优化这一尚未充分探索的领域。研究指出,现有方法局限于同一程序员的局部迭代,难以实现全局算法创新。为此,论文提出了两大核心贡献:首先,采用问题导向的全新视角,通过整合不同程序员对同一问题的解决方案来拓宽优化思路;其次,针对代码优化中固有的正确性与效率的权衡(即“优化代价”),创新性地提出了锚点验证框架以保障优化的可靠性。实验表明,这种结合显著提升了正确优化率与性能加速效果,将LLM代码优化的能力推向了新水平。 |
| 29 | AutoPBO: LLM-powered Optimization for Local Search PBO Solvers | AutoPBO:基于LLM的局部搜索伪布尔优化求解器优化框架 | https://openreview.net/pdf/5ed9ffbf6f384433cb0781c35a1358979a0e188d.pdf | 伪布尔优化 为组合问题建模提供了强大框架,而局部搜索求解器在其中表现出色,其效率高度依赖内部启发式规则的设计。目前这类设计仍依赖大量专家经验与人工调优。本文提出AutoPbo,一个基于LLM的自动化框架,用于优化PBO局部搜索求解器。实验在四个公共基准集上进行,结果表明AutoPbo相较以往局部搜索方法取得显著提升,并与六种主流求解器(包括NuPBO、Orasis、Gurobi等)保持竞争力,显示出其在自动化求解器设计方面的潜力。 |
| 30 | Discovering Architectures via an Evolutionary Agentic Framework | 通过进化智能体框架发现架构 | https://openreview.net/pdf/a8146991d33de3e6520382968b19eba13ee632c3.pdf | 本文提出一种进化智能体框架,使大语言模型能够自主执行端到端科研流程——从提出假设、编写代码到实验分析与策略进化。该系统通过研究员、工程师、分析师三类智能体协作,在线性注意力机制这一复杂领域进行了1,773次迭代实验,发现了105种全新架构,其性能超越现有SOTA模型,并在多尺度模型与基准测试中验证有效。所有代码与模型均已开源。 |
| 31 | AutoEP: LLMs-Driven Automation of Hyperparameter Evolution for Metaheuristic | AutoEP:基于大语言模型的元启发式算法超参数进化自动化 | https://openreview.net/pdf/a311263f882191145e3dc624793bdf104ad51e92.pdf | AutoEP提出一种免训练的超参数调控框架,利用大语言模型作为零样本推理引擎。其核心创新在于将在线探索性景观分析模块与多LLM推理链紧密结合,实现基于实时搜索动态的自适应超参数调整。在多种组合优化基准测试中,AutoEP一致优于现有调优方法(包括神经进化与其他LLM方法),并使得开源模型达到GPT-4级别性能。 |
| 32 | PaT: Planning-after-Trial for Efficient Code Generation | PaT:试错后规划的高效代码生成方法 | https://openreview.net/pdf/8b25077e53d9ed8975ed094b04fc564c1f901064.pdf | 针对现有代码生成流程中“先规划后执行”策略存在的计算资源浪费问题,本文提出自适应“试错后规划”策略:先使用轻量模型直接尝试生成,仅当验证失败时才调用强大模型进行规划干预。该方法在多个基准测试中显著推进了成本-准确率的帕累托前沿,实现了更高效的计算资源分配。 |
| 33 | LLM-First Search: Self-Guided Exploration of the Solution Space | LLM优先搜索:解空间的自主引导探索 | https://openreview.net/pdf/d40971245d15455cd4ebccfe42178c1990750f77.pdf | 本文提出LLM优先搜索(LFS),一种新型的自主引导搜索方法。与传统依赖固定探索超参数的搜索算法(如MCTS)不同,LFS赋予大语言模型自主控制搜索过程的能力,使其能根据内部评分机制动态决定继续深入当前路径或探索新分支。在Countdown和数独任务上的实验表明,LFS在挑战性任务中表现更优、计算效率更高,且随模型增强而扩展性更好。 |
| 34 | Holistic Prompting: Joint Reasoning with Reusable States and Shortcut Discovery | 整体提示法:基于可复用状态与捷径发现的联合推理 | https://openreview.net/pdf/82922ead5c8a6af99159ce8c1b2139c46ade99ef.pdf | 本文提出整体提示法,解决现有推理框架中中间计算无法复用导致的冗余问题。该框架通过建立可复用中间结果的共享机制和主动捷径发现,使LLM能在单个问题内部及不同问题实例间复用推理成果。在Game24和逆合成规划任务中,该方法在提高成功率的同时显著减少了模型调用次数,实现了效率与性能的双重提升。 |
| 35 | ARS: Automatic Routing Solver with Large Language Model | ARS:基于大语言模型的自动路由求解器 | https://openreview.net/pdf/117f8eadd7aad6803399241860cca81925782a33.pdf | 提出自动路由求解器ARS,利用LLM智能体增强元启发式框架,能够从自然语言描述自动生成约束感知的启发式代码。同时构建包含1000个变种的RoutBench基准测试,ARS在常见VRP上成功率超90%,在RoutBench上超60%,显著优于其他LLM方法,且代码正确率提升约25%。 |
| 36 | DHEvo: Data-Algorithm Based Heuristic Evolution for Generalizable MILP Solving | DHEvo:基于数据-算法协同演化的通用MILP求解启发式方法 | https://openreview.net/pdf/f18d5bb39dd3d686c87c70147c7c352cb73388b5.pdf | 针对混合整数规划问题中传统启发式方法泛化能力不足的问题,提出数据-算法协同演化框架DHEvo。该框架通过LLM多智能体系统迭代进化代表性实例与定制启发式算法对,并集成到开源求解器SCIP中。实验表明,DHEvo在求解质量和泛化能力上显著优于现有手工设计、学习式和LLM-based方法。 |
| 37 | Operator Theory-Driven Autoformulation of MDPs for Control of Queueing Systems | 排队系统控制中基于算子理论的MDP自动建模 | https://openreview.net/pdf/1177cd140d6b73614f50a533185772cf102c2cb3.pdf | 针对序列决策问题中MDP自动建模的挑战,提出算子理论驱动的自动建模框架。通过将贝尔曼方程构建为算子图,证明覆盖广泛MDP类别的三层通用拓扑结构,大幅缩小搜索空间。结合定制蒙特卡洛树搜索和自我评估机制,能自动识别最优策略结构(如基于阈值),加速下游求解。 |
| 38 | Large Language Model Guided Dynamic Branching Rule Scheduling in Branch-and-Bound | 大语言模型引导的分支定界动态分支规则调度 | https://openreview.net/pdf/88dd110d3cc689eb1bb5092931a08580db81b250.pdf | 本文针对混合整数线性规划求解器中分支规则选择这一关键问题,提出了大语言模型引导的动态调度方法。传统方法依赖专家经验配置固定规则,而学习型方法又存在训练成本高、泛化能力差的问题。本方法创新性地利用LLM内嵌的先验知识,实现两个层面的动态调度:在初始阶段识别问题类型与规模以选择起始规则,在求解过程中监控搜索树状态以自适应决定规则切换时机与目标规则。这种方法无需人工启发式规则、免除专门训练,并在多样问题类型上实现零样本泛化。基准测试表明,该方法在求解效率上与最先进基线达到相当竞争力,展现出巨大应用潜力。 |
| 39 | HSRL: Hierarchical Spatial Reasoning with Large Language Model | 分层空间推理:基于大语言模型的层次化空间推理方法 | https://openreview.net/pdf/d7ae450b21078318a72cdfc972ba802e76211698.pdf | 本文针对大语言模型在空间推理任务中的显著不足,提出一种分层任务分解框架HSRL。受分层强化学习启发,该方法引导LLM在状态和环境层面将复杂空间任务分解为更易处理的子任务,通过识别关键中间状态并构建简化子环境来降低问题复杂度。为解决LLM在空间推理中缺乏预训练导致的决策困难,本文进一步提出MCTS引导的群组相对策略优化算法,通过结合蒙特卡洛树搜索的探索机制和改进的细粒度优势函数,显著提升了模型的路径规划能力。实验证明,该方法在导航、规划和策略游戏等空间任务上取得了最先进的性能表现,为LLM在具身智能等现实场景中的应用铺平了道路。 |
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线科技企业深耕十二载,见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事,早已在效率与薪资上形成代际优势,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套 AI 大模型突围资料包:
- ✅ 从零到一的 AI 学习路径图
- ✅ 大模型调优实战手册(附医疗/金融等大厂真实案例)
- ✅ 百度/阿里专家闭门录播课
- ✅ 大模型当下最新行业报告
- ✅ 真实大厂面试真题
- ✅ 2025 最新岗位需求图谱
所有资料 ⚡️ ,朋友们如果有需要 《AI大模型入门+进阶学习资源包》,下方扫码获取~

① 全套AI大模型应用开发视频教程
(包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点)

② 大模型系统化学习路线
作为学习AI大模型技术的新手,方向至关重要。 正确的学习路线可以为你节省时间,少走弯路;方向不对,努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划,带你从零基础入门到精通!

③ 大模型学习书籍&文档
学习AI大模型离不开书籍文档,我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。

④ AI大模型最新行业报告
2025最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

⑤ 大模型项目实战&配套源码
学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。

⑥ 大模型大厂面试真题
面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

以上资料如何领取?

为什么大家都在学大模型?
最近科技巨头英特尔宣布裁员2万人,传统岗位不断缩减,但AI相关技术岗疯狂扩招,有3-5年经验,大厂薪资就能给到50K*20薪!

不出1年,“有AI项目经验”将成为投递简历的门槛。
风口之下,与其像“温水煮青蛙”一样坐等被行业淘汰,不如先人一步,掌握AI大模型原理+应用技术+项目实操经验,“顺风”翻盘!


这些资料真的有用吗?
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。


以上全套大模型资料如何领取?

822

被折叠的 条评论
为什么被折叠?



