Large Language Model Agent for Hyper-Parameter Optimization

本文是LLM系列文章，针对《Large Language Model Agent for Hyper-Parameter Optimization》的翻译。

摘要

超参数优化在现代机器学习中至关重要，需要专家知识、大量试验以及高计算和人力资源。尽管自动机器学习（AutoML）取得了进步，但在试验效率、设置复杂性和互操作性方面的挑战仍然存在。为了解决这些问题，我们引入了一种新的范式，利用大型语言模型（LLM）在不同的机器学习任务中自动进行超参数优化，称为AgentHPO（LLM-Agent based hyperparameter optimization的缩写）。具体而言，AgentHPO自主处理任务信息，用特定的超参数（HP）进行实验，并基于历史试验对其进行迭代优化。与传统的AutoML方法相比，这种类似人类的优化过程大大减少了所需的试验次数，简化了设置过程，并增强了可解释性和用户信任。在12个具有代表性的机器学习任务上进行的大量实证实验表明，AgentHPO不仅在性能方面与最佳人体试验相匹配，而且往往超过最佳人体试验，同时提供了可解释的结果。进一步的分析揭示了LLM在优化这些任务时所采用的策略，突出了其在各种场景中的有效性和适应性。

1 引言

2 相关工作

3 方法

4 基准设置

5 结果与分析

6 结论与未来工作

在这项工作中，我们迈出了开拓性的一步，探索并用基于大型语言模型的代理来代替人类在调整机器学习模型方面的努力。我们提出了一个创造者-执行者框架，与人类试验和基线方法相比，该框架显示出优越的性能，展示