LARGE LANGUAGE MODELS TO ENHANCE BAYESIAN OPTIMIZATION

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量259

点赞数

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137260932

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

LLAMBO是一种新方法，将大型语言模型（LLM）应用于贝叶斯优化（BO），以提高在黑箱函数优化中的探索与开发平衡。通过自然语言描述BO问题，LLM能提供零样本热启动、代理建模和候选点采样的改进，尤其在观测稀疏时效果显著。无需LLM微调，LLAMBO展现出了在超参数调整问题上的有效性和广泛适用性。

本文是LLM系列文章，针对《LARGE LANGUAGE MODELS TO ENHANCE BAYESIAN OPTIMIZATION》的翻译。

摘要

贝叶斯优化（BO）是一种用于优化复杂且昂贵的黑箱函数的强大方法。它的重要性在许多应用中都得到了强调，尤其是包括超参数调整在内，但它的功效取决于有效地平衡探索和开发。尽管BO方法已经取得了实质性进展，但实现这一平衡仍然是一个微妙的过程。有鉴于此，我们提出了LLAMBO，这是一种将大型语言模型（LLM）的功能集成到BO中的新方法。在高级别上，我们用自然语言来构建BO问题，使LLM能够在历史评估的基础上迭代地提出和评估有前景的解决方案。更具体地说，我们探索了如何结合LLM的上下文理解、小样本学习能力和领域知识来改进基于模型的BO。我们的研究结果表明，LLAMBO在零样本热启动方面是有效的，并增强了代理建模和候选采样，尤其是在观测稀疏的搜索早期阶段。我们的方法是在上下文中执行的，不需要LLM微调。此外，它在设计上是模块化的，允许将单个组件集成到现有的BO框架中，或者作为一种端到端的方法协同工作。我们实证验证了LLAMBO在超参数调整问题上的有效性，突出了在一系列不同基准、专有和合成任务中的强大实证性能。