Using Large Language Models for Hyperparameter Optimization

UnknownBody UnknownBody 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 600+累计阅读 664平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄16年
关注
原创 最新推荐文章于 2026-10-09 21:26:43 发布 664 阅读 AI 写同款· GEO 优化 ›
LLM 日更 专栏收录该内容
829篇文章
已下架不支持订阅

本文是LLM系列文章，针对《Using Large Language Models for Hyperparameter Optimization》的翻译。

使用大型语言模型进行超参数优化

摘要

本文研究了在超参数优化（HPO）过程中使用基础大型语言模型（LLM）进行决策。经验评估表明，在搜索预算有限的情况下，LLM可以在标准基准上与随机搜索和贝叶斯优化等传统HPO方法相比或更好地执行。此外，我们建议将指定我们的模型的代码视为LLM输出的超参数，这超出了现有HPO方法的能力。我们的研究结果表明，在传统的超参数优化决策问题中，LLM是一种很有前途的提高效率的工具。

1 引言

2 方法

3 相关工作

4 结果

5 讨论

标签
#语言模型 #人工智能 #自然语言处理
视觉特征-自监督-同源不同crop视图一致性【2025-08】：DINOv3【DINOv2+Gram损失=DINO损失+（iBOT损失+Gram损失）+KoLeo正则化损失】 自监督学习有望消除手动数据标注的必要性，从而使模型能够轻松处理大规模数据集以及更复杂的架构。由于无需针对特定任务或领域进行定制，这种训练方式能够利用单一算法从各种来源获取视觉表征，这些来源包括自然图像和航空图像等。本技术报告介绍了 DINOv3，它通过简单而有效的策略，为实现这一目标迈出了重要一步。首先，我们通过精心设计数据准备流程并进行优化，从而提升数据集与模型规模的扩展能力；其次，我们提出了一种名为“Gram 锚定”的新方法，该方法有效解决了在长时间训练过程中特征图质量会下降这一长期存在的难题。 阅读详情

相关推荐

视觉特征-自监督-掩码特征预测【2025-06】：V-JEPA-2【100万小时互联网视频，每样本：4秒×4➜16帧】【Stage1：表征学习⮕Stage2：V-JEPA2-AC（自回归下一帧预测）】

图14 展示了在实验室1中，使用杯子进行抓取操作任务的起始和目标框架示例。对于抓取和带物体到达任务，模型仅看到一个目标图像。对于拾取-放置任务，除了最终目标外，我们还向模型展示两个子目标图像。第一个目标图像显示物体被抓取，第二个目标图像显示物体在目标位置附近。模型首先针对第一个子目标优化动作4个时间步，然后自动切换到第二个子目标进行接下来的10个时间步，最后针对第三个目标进行最后4个时间步。

u013250861的博客 98

视觉特征-自监督-同源不同crop视图一致性【2021-04】：DINOv1【全局裁剪（覆盖原图较大区域）➜教师；全局&局部（覆盖原图较小区域）裁剪➜学生】【EMA学生来构建教师】【中心化&锐化】

在本文中，我们探讨 自 监督学习是否为 Vision Transformer (ViT) [19] 提供了区别于卷积 网 络（convnets）的新特性。除了将自监督方法适配到该架构后效果尤为出色这一事实之外，我们还提出以下观察：首先，自监督ViT特征包含有关图像语义分割的显式信息，而这种信息在有监督ViT和convnets中均不会如此清晰地出现。其次，这些特征也是出色的 k-NN 分类器，使用小型 ViT 在 ImageNet 上达到78.3%的top-1准确率。

u013250861的博客 308

AI技术周报的工程化实践：可验证性驱动的筛选与复现

AI技术周报本质上是一种面向工程决策的信息服务，其核心价值不在于信息广度，而在于可验证性——即代码可跑、数据可复现、影响可定位。这种以实操为导向的设计逻辑，源于对开源复现门槛、产业信号识别等现实瓶颈的深度响应。它将论文、开源项目与基础设施演进统一纳入‘可执行’框架，使技术传播真正服务于模型部署、推理优化和MLOps落地等高频场景。本文聚焦2021年9月这一关键临界点，解析如何构建具备时间精度、版本可控与行动指令明确的技术情报系统。

weixin_33724046的博客 528

Large Language Model Agent for Hyper-Parameter Optimization

超参数优化在现代机器学习中至关重要，需要专家知识、大量试验以及高计算和人力资源。尽管自动机器学习（AutoML）取得了进步，但在试验效率、设置复杂性和互操作性方面的挑战仍然存在。为了解决这些问题，我们引入了一种新的范式，利用大型语言模型（LLM）在不同的机器学习任务中自动进行超参数优化，称为AgentHPO（LLM-Agent based hyperparameter optimization的缩写）。

c_cpp_csharp的专栏 454

论文分享 | NeurIPS 2023 使用大语言模型进行超参数优化

Insight：我们花了很多功夫来调整大模型的超参数，但如果它们也能帮助我们调整机器学习模型的超参数呢？本文研究了如何利用基础大语言模型（LLMs）在超参数优化（HPO）过程中做决策。实证评估表明，在搜索预算有限的情况下，LLMs 在标准基准测试中能够与传统的 HPO 方法（如随机搜索和贝叶斯优化）相媲美甚至更好地表现。此外，我们建议将指定模型的代码视为超参数，由 LLMs 输出，这超越了现有的 HPO 方法的能力。

叶庭云 成为自己的光 1763

Hyperparameter Optimization for Large Language Model Instruction-Tuning

大型语言模型（LLM）的微调使它们最近在自然语言处理应用程序中取得了里程碑式的成就。越来越大的LLM的出现为更有效的微调方法铺平了道路。其中，低秩自适应（LoRA）方法保持预训练LLM的大部分权重冻结，同时引入权重矩阵的低秩分解，从而仅能够调整网络的很小部分。使用LoRA微调的模型在下游任务上的性能在很大程度上依赖于一组超参数，包括分解的秩。在这项工作中，我们通过两种主要的黑盒优化（BBO）技术研究了这些超参数的选择。

c_cpp_csharp的专栏 566

[论文笔记] Cost-Effective Hyperparameter Optimization for Large Language Model Generation 大型语言模型生成推理超参优化

Chi Wang1, Susan Xueqing Liu2, Ahmed H. Awadallah11微软研究院，雷德蒙德 2史蒂文斯理工学院 大型语言模型（LLMs）因其生成能力引发了广泛关注，催生了各种商业应用。使用这些模型的高成本驱使应用构建者在有限的推理预算下最大化生成的价值。本文研究了优化推理超参数的方法，如响应数量、温度和最大tokens，这些参数显著影响了文本生成的效用/成本。我们设计了一个名为EcoOptiGen的框架，该框架利用经济型超参数优化和基于成本的剪枝策略。我们在GP

心宝的博客 703

【2025-05】Flow-GRPO：通过在线强化学习训练流匹配模型（Training Flow Matching Models via Online RL）

We propose Flow-GRPO, the first method to integrate online policy gradient reinforcement learning (RL) into flow matching models. Our approach uses two key strategies: (1) an ODE-to-SDE conversion that transforms a deterministic Ordinary Differential Equat

u013250861的博客 16

WAM-2026-06：Kairos【骨架：4B VideoDiT；VLM：Qwen3.5-2B；原生MoT双DiT+FM；数据：数百万小时开放视频+10万小时人类数据；形态：单/双臂+灵巧手+人形】

Learning, Maintaining, and Deploying Control-Sufficient World States Kairos Team学习、维护与部署控制充分的世界状态 Kairos TeamWorld models are becoming a central substrate for Physical AI, yet their current development is differentiating across representational, generative

u013250861的博客 207

【项目实战-MATLAB】：基于机器学习的虹膜识别系统设计

虹膜识别主要包括虹膜定位、虹膜裁剪、极坐标变换、归一化、HOG特征提取、虹膜识别六个主要步骤。本系统采用MATLAB作为开发工具实现 主要算法：霍夫变换预处理 HOG特征提取 SVM进行识别

qq_45047246的博客 6538

MUJOCO+AUBO机械臂+强化学习+路径规划

最近在学习机械臂强化学习路径规划，参考了知乎教程。由于原教程较老（使用stable baselines3+panda-gym），新版本变化了，我略做调整，记录写在。上面这个教程用的是官方，环境封装较死（类似），最终基于重新开发。代码已开源至github：https://github.com/YellowThree-HS/mujoco-Aubo-RL-PathPlanning。

qq_63308550的博客 2044

从零开始理解异构算力调度：全国一体化算力算网平台实战解析

本文深入解析了异构算力调度技术在全国一体化算力算网平台中的实战应用。通过资源抽象层设计、动态感知引擎和跨云调度算法，实现AI训练任务的高效资源分配，显著提升计算效率并降低成本。特别针对GPU等异构算力的智能调度方案，为多云协同环境下的AI开发提供实用指南。

weixin_28730927的博客 334

RK3568平台开发系列讲解（UBOOT篇）u-boot启动流程

U-Boot（Universal Bootloader）是一种开源的引导加载程序，广泛用于嵌入式系统中。它的主要功能是初始化硬件设备，加载操作系统内核，并将控制权交给操作系统。U-Boot的启动流程可以分为多个阶段，以下是典型的U-Boot启动流程：

内核笔记 1236

LVGL（lv_table）

LVGL中的lv_table是一个轻量级表格控件，用于显示行列式文本数据。它支持设置单元格内容/样式、行列调整、事件响应等基础功能，适用于参数配置、数据展示等场景。通过API可快速创建表格，设置行列数、填充数据，并自定义对齐方式与样式。但需注意默认无滚动条、行数限制等问题。该控件适合简单表格需求，复杂交互需结合自定义事件处理。

m0_49476241的博客 1266

【异常】OpenClaw 上下文溢出问题（100% context used 309.9k/200k`）排查与解决

摘要：OpenClaw 运行出现"100% context used 309.9k/200k"报错，表示上下文窗口超出200k Token限制。解决方法包括：1) 重启服务或新建会话清空缓存；2) 修改配置文件提升context_window值；3) 长期优化如限制历史对话轮数、分批处理长文本。该问题通常由输入过长或多轮对话累积导致，需控制单次输入量在阈值内。

奶爸的编程之路，也就一周冷个三天 3239

第154章 点云大规模并行处理（GPU加速）

优化点云处理✨ 使用。

yumeiguo的博客 374

老版QQ原生表情gif动态

这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。

android 蓝牙通讯demo

android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用，资源的后缀为tar.gz格式的压缩包
上一篇： Applying Large Language Models and Chain-of-Thought for Automatic Scoring
下一篇： ALIGNER: ONE GLOBAL TOKEN IS WORTH MILLIONS OF PARAMETERS WHEN ALIGNING LARGE LANGUAGE MODELS
点赞 8
评论 0
书签 书签 6
UnknownBody
UnknownBody
博客等级 码龄16年 5601粉丝 4744原创
+ 关注 专栏目录
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值