LARGE LANGUAGE MODELS TO ENHANCE BAYESIAN OPTIMIZATION-优快云博客

本文是LLM系列文章，针对《LARGE LANGUAGE MODELS TO ENHANCE BAYESIAN OPTIMIZATION》的翻译。

增强贝叶斯优化的大型语言模型

摘要
1 引言
2 LLAMBO：LLMS增强BO
3 相关工作
4 热启动BO过程
5 代理建模
6 候选点的采样
7 LLAMBO的端到端演示
8 讨论

摘要

贝叶斯优化（BO）是一种用于优化复杂且昂贵的黑箱函数的强大方法。它的重要性在许多应用中都得到了强调，尤其是包括超参数调整在内，但它的功效取决于有效地平衡探索和开发。尽管BO方法已经取得了实质性进展，但实现这一平衡仍然是一个微妙的过程。有鉴于此，我们提出了LLAMBO，这是一种将大型语言模型（LLM）的功能集成到BO中的新方法。在高级别上，我们用自然语言来构建BO问题，使LLM能够在历史评估的基础上迭代地提出和评估有前景的解决方案。更具体地说，我们探索了如何结合LLM的上下文理解、小样本学习能力和领域知识来改进基于模型的BO。我们的研究结果表明，LLAMBO在零样本热启动方面是有效的，并增强了代理建模和候选采样，尤其是在观测稀疏的搜索早期阶段。我们的方法是在上下文中执行的，不需要LLM微调。此外，它在设计上是模块化的，允许将单个组件集成到现有的BO框架中，或者作为一种端到端的方法协同工作。我们实证验证了LLAMBO在超参数调整问题上的有效性，突出了在一系列不同基准、专有和合成任务中的强大实证性能。