0-ReEvo：具有反思进化的大型语言模型作为超启发式（arXiv 2024）(code)

已于 2025-03-20 18:04:20 修改
阅读量276 收藏
点赞数
分类专栏： 文献阅读 文章标签： 语言模型 人工智能 自然语言处理
于 2024-12-21 20:46:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45823731/article/details/144632214
版权

38th Conference on Neural Information Processing Systems (NeurIPS 2024).

文章目录

Abstract

NP-hard组合优化问题（COPs）的普遍性迫使领域专家进行试错式的启发式设计。随着大型语言模型（LLMs）的兴起，设计自动化的长期努力获得了新的动力。本文介绍了语言超启发式（LHHs），这是一种新兴的超启发式变体，它利用LLMs进行启发式生成，特点是人工干预最少，启发式空间开放。为了增强LHHs，我们提出了反思进化（ReEvo），这是一种新颖的整合进化搜索的方法，用于高效探索启发式空间，并通过LLM反思提供空间内的口头梯度。在五种不同的算法类型、六种不同的COPs以及COPs的白盒和黑盒视图下，ReEvo产生了最先进的和有竞争力的元启发式、进化算法、启发式和神经求解器，同时比以往的LHHs更具样本效率。

1 Introduction

NP-hard组合优化问题（C

了解本专栏 订阅专栏 解锁全文
yolo模型精度提升策略
qq_47798402的博客
06-09 491
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 331
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 140
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 678
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
简繁体智能翻译软件
weixin_62784879的博客
06-09 306
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
打造全国最全的AI Agent开发知识领域的博客
06-11 1079
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
（五）动手学深度学习计算：从数学原理到高效实现的全流程指南
hanyuge的专栏
06-08 607
在实际应用中，我们常常需要自定义层和块来实现特定的功能。PyTorch提供了灵活的API来创建自定义层和块。无参数层：实现不包含可学习参数的层，如激活函数层。return torch.sigmoid(x) # 示例：Sigmoid激活函数含参数层：实现包含可学习参数的层，如自定义的全连接层。组合层：将多个层组合成一个块，实现复杂的功能。return x层是深度学习模型的基本构建块，执行特定的计算任务。块是由多个层组成的模块，提高代码的可读性和可维护性。
职业生涯思考
fuyouzhiyi的博客
06-06 497
这种复杂的感受，我来帮你试着梳理出来。如果你觉得某些句子正好说中了你，就把它留下。
【强化学习】——04Model-Based RL
Piccaboo的博客
06-07 616
一是，算法收敛后的策略在初始状态下的期望回报二是，算法达到收敛结果需要的样本数量基于模型的算法得益于这个环境模型，Agent对真实环境中的样本量的需求往往会减少通常具备较低的样本复杂度，但由于环境模型不可能完全准确，因此其期望回报通常较低之前的Model-Free RL中，Agent只可以与环境进行交互如果环境模型已知，那么Agent可以与模型进行交互，基于模型来规划或决策这个模型的作用在于提供环境状态转移概率和预测生成的奖励，以产生或优化策略MPR状态转移函数Ps′∣sa奖励函数Rs。
钉钉C10圆桌派在北京召开 AI一体机首次签约
weixin_43735236的博客
06-09 117
一体机也提供多种AI助理，覆盖审批、工单、行政、法务等多个高频场景，可广泛应用于零售、连锁、生产制造、教育、法律服务等众多行业，帮助企业进一步提质降本增效，数智化升级。通过部署钉钉AI一体机，杰锐思打造了装配助手、代码助手等AI应用，实现了从知识检索到业务协同的全链路升级，在数据安全的基础上，进一步实现了增效降本和效率提升。6月6日，钉钉在北京举办C10圆桌派-AI专场思享会，会上，钉钉和苏州杰锐思智能科技股份有限公司（以下简称：杰锐思）就AI一体机应用签署合作协议，这是钉钉首次在客户落地AI一体机实践。
CppCon 2015 学习:Algorithmic Differentiation C++ & Extremum Estimation
虾球
06-10 725
浮点数表示法的灵感：科学记数法浮点数的表示方法受到科学记数法的启发。x×baseexponentx×baseexponent6.022×10236.022×1023这种表示法使得我们能够处理非常大的数（如102310^{23}1023）以及非常小的数（如10−2310^{-23}10−23），并且有效地表示各种数值。
【DAY43】复习日
daomingwu1的博客
06-08 308
kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化。内容来自@浙大疏锦行python打卡训练营。进阶：并拆分成多个文件。
Python 训练营打卡 Day 45
2401_86382089的博客
06-06 549
你可以用它直观看到训练过程中的数据变化（比如损失值、准确率）、模型结构、数据分布等，不用盯着一堆枯燥的数字看，对新手非常友好，目前这个工具还在不断发展，比如一些额外功能在tensorboardX上存在，但是我们目前只需要要用到最经典的几个功能即可。如果只用 print(损失值) 或者自己用 matplotlib 画图，不仅麻烦，还得手动保存数据、写代码，尤其训练几天几夜时，根本没法实时盯着看。而 TensorBoard 能自动把这些数据 “存下来 + 画出来”，还能生成网页版的可视化界面，随时刷新查看！
立足数字人文，深化历史叙事|科学智能赋能人文社科领域研究
ModelWhale的博客
06-10 554
2024年12月，山东大学同智谱、和鲸共同发布“边疆大模型暨综合智能体”，并签署“101 数智领航计划”，助力高校人才培养模式的持续变革，推动人才培养由“知识为主”向“能力为先”转变。其底层接入外挂知识库的大语言模型，具备准确回答边疆历史文化问题的能力。，以前沿数字技术为边疆历史及更广范围的人文研究提供坚实新基建，并在此基础上开发面向研究者与公众的创新应用，确保专业知识的高效、准确传播。，可以将专业知识“注入”大模型，使其成为研究者专属的、更懂行的智能助手，辅助文献研读、事实核查、乃至启发新的研究思路。
“十五五”时期智慧城市赋能全国一体化数据市场建设：战略路径与政策建议[ 注：本建议基于公开政策文件与行业实践研究，数据引用截至2025年6月11日。]
最新发布
qiongfang2008的专栏
06-11 363
我国正处于数字经济与实体经济融合的关键阶段，数据作为新质生产力核心引擎，亟需通过智慧城市建设破解“数据供不出、流不动”等痛点。智慧城市作为数据要素核心载体，其“五个转变”（央地协同、全局优化、用户视角、数据业务化、长效运营）与全国一体化数据市场建设高度契合。2025年数据要素市场规模预计达1990亿元，智慧城市将通过激活公共数据、赋能产业转型、构建可信环境，成为数据价值转化关键节点。本文通过对智慧城市赋能全国一体化数据市场建设现状与挑战分析，提出了一套供参考的智慧城市引领数据市场一体化解决方案。
杭州AI落地赚钱方案：30日行动计划
高效匠人
06-06 611
杭州AI落地赚钱方案：30日行动计划
本地化部署 Dify 打造专属 AI 助手并嵌入网站
文浩（楠搏万）的博客
06-09 968
本教程详细讲解如何基于开源项目 Dify，通过 Docker 本地部署专属 AI 聊天助手，并将其无缝嵌入企业官网，实现页面内嵌式智能交互。文章涵盖环境配置、Chat 应用创建、嵌入代码、网页集成与本地私有化部署优势，适合企业、开发者快速构建安全、定制化的 AI 应用，提升用户体验。附完整代码示例与部署演示图，助你轻松上手。
【一步步开发AI运动APP】十、微调优化内置运动分析器，灵活适配不同的应用场景
赣州云智技术的技术铺子
06-09 425
摘要：本文介绍了AI运动APP开发中内置运动项目的微调优化机制。针对不同应用场景（如健身、体测、赛事）对动作检测标准的不同需求，插件提供了统一的ISportOptimizer优化器，支持通过参数调整来放宽或收紧检测标准。文章对比了APP与小程序在运动微调上的技术差异，并给出示例代码展示如何修改动作规则和参数。同时也指出该方案存在局限性，无法适配动作差异过大的场景（如花式跳绳），后续将介绍自定义运动项目的扩展方法。（149字）
知识图谱技术概述
归去来兮的博客
06-06 872
知识图谱（Knowledge Graph） 是一种基于图结构的语义网络，用于表示实体及其之间的关系，旨在实现更智能的知识表示和推理。它通过将现实世界中的各类信息抽象为 “实体-关系-实体” 的三元组结构，构建出复杂的知识网络，从而支持高效的信息检索、语义理解和决策分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

太极生两鱼

要天天开心哦！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值