CHATANYTHING: FACETIME CHAT WITH LLM-ENHANCED PERSONAS-优快云博客

本文是LLM系列文章，针对《CHATANYTHING: FACETIME CHAT WITH LLM-ENHANCED PERSONAS》的翻译。

CHATANYTHING：与LLM增强的人物角色进行面对面聊天

摘要
1 引言
2 方法
3 分析
4 未来工作

摘要

在这份技术报告中，我们的目标是以在线方式为基于LLM的角色生成拟人化的人物角色，包括视觉外观、个性和音调，只有文本描述。为了实现这一点，我们首先通过仔细设计一组系统提示，利用LLM的上下文学习能力进行个性生成。然后，我们提出了两个新颖的概念：声音混合（MoV）和扩散器混合（MoD），用于产生不同的声音和外观。对于MoV，我们使用具有各种预定义音调的文本到语音（TTS）算法，并根据用户提供的文本描述自动选择最匹配的算法。对于MOD，我们将最近流行的文本到图像生成技术和会说话的头部算法相结合，以简化生成会说话对象的过程。我们将整个框架称为ChatAnything。有了它，用户只需输入一些文本，就可以用任何拟人化的人物角色制作任何动画。然而，我们观察到，当前生成模型生成的拟人化对象通常无法被预先训练的人脸地标检测器检测到，导致人脸运动生成失败，即使这些人脸具有类人的外观，因为这些图像在训练过程中几乎可以看到（例如OOD样本）。为了解决这个问题，我们结合了像素级的指导，在图像生成阶段注入人脸标志。为了对这些指标进行基准测试，我们构建了一个评估数据集。在此基础上，我们验证了人脸地标的检测率从57.0%显著提高到92.5%，从而实现了基于生成的语音内容的自动人脸动画。代码和更多结果可在https://chatanything.github.io/上找到。