DiffAgent: Fast and Accurate Text-to-Image API Selection with Large Language Model

本文是LLM系列文章，针对《DiffAgent: Fast and Accurate Text-to-Image API Selection with Large Language Model》的翻译。

摘要

文本到图像（T2I）生成模型引起了广泛关注，并在学术研究内外得到了广泛应用。例如，Civitai社区是T2I创新的平台，目前拥有74492种不同的模型。然而，这种多样性在选择最合适的模型和参数方面带来了巨大的挑战，这一过程通常需要大量的试验。从大型语言模型（LLM）的工具使用研究中获得灵感，我们介绍了DiffAgent，这是一种LLM代理，旨在通过API调用在几秒钟内筛选准确的选择。DiffAgent利用了一种新颖的两阶段训练框架SFTA，使其能够根据人类偏好将T2I API响应与用户输入准确对齐。为了训练和评估DiffAgent的能力，我们提出了DABench，这是一个全面的数据集，包含来自社区的广泛的T2I API。我们的评估表明，DiffAgent不仅擅长识别适当的T2I API，而且还强调了SFTA训练框架的有效性https://github.com/OpenGVLab/DiffAgent。

1 引言

2 相关工作

3 方法

4 实验

5 结论

我们的研究集中在利用LLM作为代理，将用户从文本到图像（T2I）领域中生成信息的不断尝试和调整中解放出来。本文介绍了DiffAgent，这是一种新型的代理模型，擅长根据用户规范生成T2I API（模型和参数信息）。此外，我们还提供了一个专门的训练框架，旨