NVIDIA开源Audio2Face面部动画生成技术

NVIDIA开源Audio2Face面部动画模型

先进生成式AI技术为3D虚拟形象带来逼真表情。

Audio2Face利用AI从音频输入生成逼真面部动画。该技术通过分析音素和语调等声学特征，创建动画数据流，然后映射到角色的面部姿势。这些数据可以离线渲染用于预设内容，或实时流式传输用于动态AI驱动角色，提供准确的唇形同步和情感表达。

开源工具与框架

某中心开源了Audio2Face模型和SDK，让每位游戏和3D应用开发者都能构建和部署具有尖端动画的高保真角色。同时开源的还有Audio2Face训练框架，任何人都可以针对特定用例微调和定制现有模型。

软件包	用途
Audio2Face SDK	用于在设备或云端创作和运行时面部动画的库和文档
Autodesk Maya插件	支持本地执行的参考插件，允许用户发送音频输入并接收角色面部动画
Unreal Engine 5插件	适用于UE 5.5和5.6的插件，允许用户在Unreal Engine 5中发送音频输入并接收角色面部动画
Audio2Face训练框架	使用自有数据创建Audio2Face模型的框架

软件包	用途
Audio2Face训练示例数据	开始使用训练框架的示例数据
Audio2Face模型	生成唇形同步的回归模型和扩散模型
Audio2Emotion模型	从音频推断情感状态的生产模型和实验模型

行业应用案例

多家游戏开发商和独立软件供应商已集成Audio2Face技术：

• 某3D角色创作平台将Audio2Face集成到其工具套件中，实现与角色创建软件的无缝集成
• 某游戏开发团队通过集成Audio2Face简化了唇形同步和面部捕捉流程
• 某游戏系列创作者表示，该技术让他们能够直接从音频生成高度详细的面部动画，节省无数动画工作时间

相关技术更新

RTX Kit最新更新

RTX Kit是神经渲染技术套件，用于通过AI光线追踪游戏、渲染具有巨大几何结构的场景以及创建照片级真实的游戏角色。

RTX神经纹理压缩SDK显著减少高质量纹理的内存使用，同时保持质量，并获得多项改进：

• 针对超大型纹理集的库优化
• 扩展渲染样本功能集，改进性能并支持DLSS
• 压缩和解压缩超大型纹理集时的命令行工具改进
• 新增基准测试场景

RTX全局光照SDK提供光线追踪间接照明解决方案，同样获得改进：

• 路径追踪器样本增加垂直同步选项
• 添加带材质解调切换的缓存可视化
• 空间哈希辐射缓存算法移除压缩选项，引入可选材质解调

虚拟GPU技术扩展游戏开发环境

某中心虚拟GPU技术允许多用户在虚拟化环境中共享GPU，为整个组织提供可扩展的GPU资源。某游戏公司通过该技术将100台传统服务器替换为6台RTX GPU单元，实现：

• 82%的占地面积减少
• 72%的功耗下降
• 每日在3000名开发者和500多个系统上运行超过25万个任务

图形开发与性能调优

某中心在SIGGRAPH 2025上举办了系列培训课程和技术演示，特别针对游戏开发者：

• 现代光线追踪应用的开发与调试，重点介绍帧检查和调试
• 现代光线追踪应用中着色器优化，深入探讨GPU跟踪分析器
• 使用某中心系统优化VRAM管理，获取应用程序性能和资源利用的整体视图

开发者资源

加入某中心开发者计划，关注社交媒体平台，加入Discord社区，获取最新游戏开发新闻和技术更新。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）