Using Large Language Models for Hyperparameter Optimization

最新推荐文章于 2025-11-25 12:11:01 发布
最新推荐文章于 2025-11-25 12:11:01 发布
阅读量594 收藏 6
点赞数 8
CC 4.0 BY-SA版权
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135696854
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文探讨如何在超参数优化（HPO）中运用大型语言模型（LLM），结果显示，即使在有限的搜索预算下，LLM的表现也能与随机搜索和贝叶斯优化等方法媲美，甚至更好。此外，提出将模型代码视为LLM超参数的新思路，扩展了HPO的可能性。研究表明，LLM在提升HPO效率方面展现出巨大潜力。

本文是LLM系列文章，针对《Using Large Language Models for Hyperparameter Optimization》的翻译。

使用大型语言模型进行超参数优化

摘要

本文研究了在超参数优化（HPO）过程中使用基础大型语言模型（LLM）进行决策。经验评估表明，在搜索预算有限的情况下，LLM可以在标准基准上与随机搜索和贝叶斯优化等传统HPO方法相比或更好地执行。此外，我们建议将指定我们的模型的代码视为LLM输出的超参数，这超出了现有HPO方法的能力。我们的研究结果表明，在传统的超参数优化决策问题中，LLM是一种很有前途的提高效率的工具。

1 引言

2 方法

3 相关工作

4 结果

5 讨论

UnknownBody
关注
专栏目录

已下架不支持订阅

论文分享 | NeurIPS 2023 使用大语言模型进行超参数优化
叶庭云 成为自己的光
12-13 1590
Insight：我们花了很多功夫来调整大模型的超参数，但如果它们也能帮助我们调整机器学习模型的超参数呢？本文研究了如何利用基础大语言模型（LLMs）在超参数优化（HPO）过程中做决策。实证评估表明，在搜索预算有限的情况下，LLMs 在标准基准测试中能够与传统的 HPO 方法（如随机搜索和贝叶斯优化）相媲美甚至更好地表现。此外，我们建议将指定模型的代码视为超参数，由 LLMs 输出，这超越了现有的 HPO 方法的能力。
Large Language Model Agent for Hyper-Parameter Optimization
c_cpp_csharp的专栏
04-01 326
超参数优化在现代机器学习中至关重要，需要专家知识、大量试验以及高计算和人力资源。尽管自动机器学习（AutoML）取得了进步，但在试验效率、设置复杂性和互操作性方面的挑战仍然存在。为了解决这些问题，我们引入了一种新的范式，利用大型语言模型（LLM）在不同的机器学习任务中自动进行超参数优化，称为AgentHPO（LLM-Agent based hyperparameter optimization的缩写）。
2025 | 时序预测新范式：多智能体AI系统实现全流程自动化！
2501_91070801的博客
11-04 703
本文成功地提出了TimeSeriesScientist（TSci），这是一个创新的、端到端的自动化时间序列预测框架。理论上，它通过一种模仿人类专家的多智能体协作机制，实现了数据处理、模型选择、集成预测和报告生成的全流程自动化与智能化。实验结果也证明了它的强大实力，在多个标准数据集上，TSci的预测准确性显著超越了现有的统计模型和其他领先的大语言模型方法，同时其生成的报告在严谨性和可解释性方面也表现出色。
Hyperparameter Optimization for Large Language Model Instruction-Tuning
c_cpp_csharp的专栏
01-29 482
大型语言模型（LLM）的微调使它们最近在自然语言处理应用程序中取得了里程碑式的成就。越来越大的LLM的出现为更有效的微调方法铺平了道路。其中，低秩自适应（LoRA）方法保持预训练LLM的大部分权重冻结，同时引入权重矩阵的低秩分解，从而仅能够调整网络的很小部分。使用LoRA微调的模型在下游任务上的性能在很大程度上依赖于一组超参数，包括分解的秩。在这项工作中，我们通过两种主要的黑盒优化（BBO）技术研究了这些超参数的选择。
LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-16 2849
​ LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和技术→数据集和基准→未来方向和挑战 目录 《Large Language Models A Survey大型语言模型的综述调查》翻译与解读 Abstract摘要 I. INTRODUCTION引言 II. LARGE LANGUAGE MODE
LLMs之DeepSeek-V1：《DeepSeek LLM: Scaling Open-Source Language Models with Longtermism》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-22 1757
​ LLMs之DeepSeek-V1：《DeepSeek LLM: Scaling Open-Source Language Models with Longtermism》翻译与解读 目录 《DeepSeek LLM: Scaling Open-Source Language Models with Longtermism》翻译与解读 Abstract 1、Introduction Conclusion, Limitation, and
超参调优方法 Hyperparameter Tuning
AI天才研究院
08-13 707
作者：禅与计算机程序设计艺术Hyperparameters are parameters that are set before training a neural network and remain constant during the process of learning. These hyperparameters influence the performance of the model and can have significant impact on its convergence s
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 229
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 408
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 285
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 407
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 400
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1901
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 498
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 294
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 80
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
强化学习人形机器人奖励函数分析
ModestCoder_的博客
11-23 1041
PPO (Proximal Policy Optimization) 是一种 Actor-Critic 架构算法。奖励函数是整个学习过程的指挥棒。学习预测未来的累积回报（Return）。用于处理物理限制的软约束，形式通常为单边损失（Hinge Loss）。，作为 Cost/Penalty 使用，用于约束能量和保持稳定。以下是代码中各个奖励项的数学表达及其物理含义分析。形式，旨在最大化机器人对指令的跟随精度。这种设计是现代机器人控制领域的标准范式。形式，在总奖励计算中通常会被赋予。
宇树G1-D：人形机器人下一步方向！
Charlie_Mo的博客
11-21 1079
宇树科技推出G1-D人形机器人工作站全栈解决方案，实现从硬件平台向"硬件+数据+AI"生态平台升级。该方案以G1-D为核心载体，为AI模型开发提供强力支撑，可应用于制造业等场景，提升生产精度和效率。在AI技术快速发展的背景下，掌握基于G1-D的AI开发技能将增强就业竞争力。这一创新方案为行业搭建AI训练基础设施，推动技术进步，展现未来发展潜力。
5G与人工智能：相辅相成推动未来智能化世界
2501_94108919的博客
11-21 941
近年来，5G和人工智能（AI）被视为数字时代的两大核心技术，它们不仅各自推动了技术进步，还在相互结合的过程中，带来了革命性的变革。例如，在智能制造中，AI可以基于5G传输的生产数据，实时调整生产线，优化生产效率，减少停机时间。比如，通过5G网络连接的智能穿戴设备可以实时监测患者的生命体征，并通过AI分析数据，为医生提供决策支持，甚至进行远程手术指导。5G网络的普及需要大量的基站和基础设施建设，而AI的应用则要求更高的计算能力和更低的延迟，这对硬件的要求非常高。
BOHB: Robust and Efficient Hyperparameter Optimization at Scale
09-17
BOHB（大规模下鲁棒且高效的超参数优化方法）全称为 “BOHB: Robust and Efficient Hyperparameter Optimization at Scale” 。它是一种结合了贝叶斯优化（Bayesian Optimization）和 Hyperband 算法优势的超参数优化方法，旨在高效地在大规模搜索空间中找到最优的超参数组合。 #### 主要特点 - **高效性**：通过结合 Hyperband 算法的多阶段资源分配策略，能够快速筛选掉表现不佳的超参数配置，节省计算资源和时间。 - **鲁棒性**：采用概率模型（如高斯过程或随机森林）来对超参数的性能进行建模，在不同的数据集和模型上都能有较好的表现。 - **可扩展性**：适用于大规模的超参数搜索空间，能够处理高维、复杂的超参数优化问题。 #### 工作原理 1. **采样初始配置**：从超参数空间中随机采样一组初始的超参数配置。 2. **Hyperband 筛选**：使用 Hyperband 算法对这些配置进行多阶段的筛选，每个阶段分配不同的计算资源（如训练轮数），淘汰表现不佳的配置。 3. **贝叶斯优化**：在筛选过程中，使用贝叶斯优化来根据已有的评估结果构建概率模型，预测未评估配置的性能，并选择下一组最有潜力的配置进行评估。 4. **迭代优化**：重复步骤 2 和 3，直到达到预设的计算资源上限或找到满意的超参数配置。 #### 代码示例 以下是一个使用 `hpbandster` 库实现 BOHB 算法的简单示例： ```python import hpbandster.core.nameserver as hpns import hpbandster.core.result as hpres from hpbandster.optimizers import BOHB import ConfigSpace as CS import ConfigSpace.hyperparameters as CSH from hpbandster.core.worker import Worker import logging # 定义一个简单的目标函数 class MyWorker(Worker): def compute(self, config, budget, **kwargs): # 这里简单地使用一个二次函数作为示例 loss = (config['x'] - 2) ** 2 return ({ 'loss': loss, 'info': {} }) @staticmethod def get_configspace(): cs = CS.ConfigurationSpace() x = CSH.UniformFloatHyperparameter('x', lower=-10, upper=10) cs.add_hyperparameters([x]) return cs # 启动名称服务器 NS = hpns.NameServer(run_id='example1', host='127.0.0.1', port=None) NS.start() # 初始化工作器 w = MyWorker(nameserver='127.0.0.1', run_id='example1') w.run(background=True) # 定义配置空间 config_space = MyWorker.get_configspace() # 初始化 BOHB 优化器 bohb = BOHB( configspace=config_space, run_id='example1', nameserver='127.0.0.1', min_budget=1, max_budget=9 ) # 运行优化 res = bohb.run(n_iterations=4) # 停止优化器和名称服务器 bohb.shutdown(shutdown_workers=True) NS.shutdown() # 打印结果 id2config = res.get_id2config_mapping() incumbent = res.get_incumbent_id() print('Best found configuration:', id2config[incumbent]['config']) print('A total of %i unique configurations where sampled.' % len(id2config.keys())) print('A total of %i runs where executed.' % len(res.get_all_runs())) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值