混元语音数字人模型，开源！-优快云博客

今天要发布的是一项神奇的魔法。

仅需一张图和一段音频，就能让图中的主角自然的说话、唱歌。

比如这样👇

这样👇

以及，这样👇

这一能力来自5月28日腾讯混元发布并开源的语音数字人模型HunyuanVideo-Avatar，由腾讯混元视频大模型（HunyuanVideo）及腾讯音乐天琴实验室MuseV技术联合研发，支持头肩、半身与全身景别，以及多风格、多物种与双人场景，面向视频创作者提供高一致性、高动态性的视频生成能力。

用户可上传人物图像与音频，HunyuanVideo-Avatar模型会自动理解图片与音频，比如人物所在环境、音频所蕴含的情感等，让图中人物自然地说话或唱歌，生成包含自然表情、唇形同步及全身动作的视频。

如输入一张拿着吉他的坐在沙滩的女性图片和一段抒情音乐，模型会自行理解“她在海边弹吉他，唱着非常抒情的歌曲”，并生成一段图中人物在弹唱的视频。

HunyuanVideo-Avatar适用于短视频创作、电商与广告等多种应用场景，可以生成人物在不同场景下的说话、对话、表演等片段，快速制作产品介绍视频或多人互动广告，降低制作成本。

该技术已应用于腾讯音乐听歌陪伴、长音频播客以及唱歌MV等多场景，如在QQ音乐中，当用户收听“AI力宏”（腾讯音乐与王力宏工作室联手打造的“全AI”歌手）歌曲时，生动可爱的AI力宏形象将在播放器上实时同步“唱歌”：

在酷狗音乐的长音频绘本功能中，由AI生成的虚拟人形象将“开口说话”，向你娓娓道来童话故事：

在全民K歌中，用户可以通过上传图片，一键生成用自己照片唱歌的专属MV：

HunyuanVideo-Avatar不止能驱动人物图像，还能在此基础上保证视频中主体一致性以及视频的整体动态性。用户可以上传复杂人物图像并上传匹配音频。例如，上传一张女孩盘坐在森林的，身前是一团篝火的照片与一段歌曲，模型会理解到“一个女孩在森林空地上唱歌，她身前是一堆熊熊燃烧的篝火，火苗欢快跳跃，橘红色的火光映照在她身上，为画面增添了温暖的氛围”。模型可以生成主体一致性强、人物动作自然和背景动态性高的视频。

在主体一致性、音画同步方面，HunyuanVideo-Avatar效果超越开闭源方案，处在业内顶尖水平；在画面动态、肢体自然度方面，效果超越开源方案，和其他闭源方案处在同一水平。

相比传统工具仅限于头部驱动，HunyuanVideo-Avatar 还支持半身或全身场景，显著提升视频的真实感和表现力。同时，HunyuanVideo-Avatar 支持多风格、多物种与多人场景，包括赛博朋克、2D动漫、中国水墨画，以及机器人、动物等。例如，创作者可上传卡通角色或虚拟形象，生成风格化的动态视频，满足动漫、游戏等领域的创作需求。

在多人互动场景中，HunyuanVideo-Avatar 展现出优异性能。无论是日常对话、相声表演还是对唱场景，模型能精准驱动多个角色，确保唇形、表情和动作与音频同步，互动自然。

HunyuanVideo-Avatar 的核心优势源于多个技术创新，是由腾讯混元团队与腾讯音乐天琴实验室合作的混元MuseV联合项目组持续共同研发的成果，包括其角色图像注入模块，基于多模态扩散Transformer（MM-DiT）架构，确保角色一致性与视频动态性；其音频情感模块会从音频和参考图像提取情感信息，生成细腻的表情和动作；面部感知音频适配器，通过人脸掩码技术隔离角色音频，实现多人场景的精准驱动。

HunyuanVideo-Avatar的单主体能力已经开源，并在腾讯混元官网（PC端，https://hunyuan.tencent.com/）上线，用户可以在“模型广场-混元生视频-数字人-语音驱动-HunyuanVideo-Avatar”中体验，目前支持上传不超过14秒的音频进行视频生成，后续将逐步上线和开源其他能力。

项目相关链接