几个跟数字人项目相关的开源大模型

最新推荐文章于 2025-10-09 15:23:08 发布
原创 最新推荐文章于 2025-10-09 15:23:08 发布 · 3.2k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #音视频 #开源

本文介绍了多个基于AI的创新项目，如语音聊天应用AI-voice-chat，能与chatGPT语音交互；DiffusionAvatars用于3D头像动画制作；以及PoseGPT利用大模型理解3D人体姿势。同时提到从静态图像到动态视频的转换工具和3D模型生成技术的最新进展。

目前很多大模型如雨后春笋般涌现出来，都有点心慌了。冷静下来还是需要一个个去识别哪些对自己有用。

AI Voice Chat

https://github.com/WeberJulian/AI-voice-chat

它是一个简化版的react app，可以用自己的语音跟chatGPT 语音聊天。

它使用Whisper Large v3来转录，使用openchat 3.5 AWQ作为语言助手，XTTS v2用来文本转语音。

它的优势是语言对语音的几乎无延迟特性。运行在RTX 3090 GPU上。

Diffusion Avatars

https://tobias-kirschstein.github.io/diffusion-avatars/（代码还在开发中）

它用来合成一个高保真的3D头像，提供对姿势和表情的控制。

  • 将表情传输到3D头像动画

图片

  •  通过 NPHM 制作头像动画

通过底层 NPHM 进行控制。我们通过在几个目标表达式之间进行插值来获得表达式代码 z exp 。使用光栅化和我们基于扩散的神经渲染器，表达代码被转换为具有视点控制的现实化身。

最低0.47元/天 解锁文章
开源数字人、虚拟直播部署教程
南七小僧的学海无涯
06-13 4123
对，你无看错，是欧美的。在直播带货案例里，我们把模型导入到ue4，我们给模型在ue4里预设了四个动作（站着、站着说话、坐着、坐着说话），三个表情（平静、开发、愤怒），三个镜头（全局、近矩说话、看显示器播放商品展示）。我们只需要把目标主播的直播给录制下来，提取样本数据，然后训练一个从粉丝的不同刺激的组合，到主播的不同响应方式的多元逻辑回归的数学模型参数即可。
分享6款文字语音生成驱动虚拟数字人说话的开源项目
南七小僧的学海无涯
10-25 2743
对定性和定量结果的大量实验表明，我们的算法实现了高质量的照片真实感对话头部视频，包括根据语音节奏进行的各种面部表情和头部运动，并超过了最先进的水平。我们的系统包含三个阶段。当然，FACEGOOD Audio2face 部分也可根据自己的喜好进行重新训练，比如你想用自己的声音或其它类型的声音，或者不同于 FACEGOOD 使用的模型绑定作为驱动数据，都可以根据下面提到的流程完成自己专属的动画驱动算法模型训练。兼顾生成的韵律和外表的相似，除了面部，考虑到了头部的动作，虑了背景区域的artifact。
GitHub开源数字人项目汇总（2025版）
我是赛博AI Lewis
02-27 1万+
开源数字人项目汇总（2025版），优先选择Fay或xuniren，整合成熟技术栈。
AI数字人：sadtalker让照片开口说话
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-07 5805
西安交通大学也开源了人工智能SadTalker模型，通过从音频中学习生成3D运动系数，使用全新的3D面部渲染器来生成头部运动，可以实现图片+音频就能生成高质量的视频。通过人脸图像和一段语音音频生成说话的头部视频仍然包含许多挑战。即不自然的头部运动、扭曲的表情和身份修改。研究团队认为这些问题主要是因为从耦合的 2D 运动场中学习。另一方面，明确使用 3D 信息也存在表情僵硬和视频不连贯的问题。
开源3d数字人学习笔记2025
最新发布
jacke121的专栏
10-09 627
开源3d数字人学习笔记
全球首款开源数字人模型duix.ai，全面解读！
趣谈前端
08-06 1万+
嗨，大家好，我是徐小夕。最近一直在研究 AI大模型 在业务场景中的应用，刚好发现一款非常有意思的开源数字人模型——duix.ai.image.png它是硅基智能打造的数字人智能交互平台。而duix-ai就是基于DUIX开源的全球首个2D真人级、AIGC实时渲染数字人模型，该项目不仅提供了直观的效果展示，还支持用户进行二次开发.项目从底层推理引擎及上层的商业化应用逻辑也都开放了源代码，方便开发者可以...
【AI数字人】全球首个真人级AIGC实时渲染数字人模型开源了！
m0_56144365的博客
12-18 2047
全球首个2D真人级AIGC实时渲染[数字人]模型开源了！这是数字人技术界的一次大爆炸，我们即将迈入一个全新的交互时代，一个由数字人代理引领的时代。
LivePortrait 数字人：开源的图生视频模型，本地部署和专业视频制作详细教程
老牛啊
07-14 1万+
数字人最近比较火，LivePortrait 是快手、中科大和复旦大学联合研发的开源的图生视频模型，比较适合个人、小团体和企业等用于生成自己的数字化人物视频。老牛同学尝试通过本教程，详细介绍如何在本地部署和生成专业视频……
2024 年 8 个顶级开源 LLM（大语言模型）_开源llm
2501_90251264的博客
01-16 1171
选择开源 LLM 的公司将可以访问 LLM 的工作原理，包括它们的源代码、架构、训练数据以及训练和推理机制。这种透明度是审查的第一步，也是定制的第一步。由于每个人都可以访问开源 LLM，包括它们的源代码，因此使用它们的公司可以针对其特定用例对其进行自定义。
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
丨汀、的博客
07-25 1万+
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
【AI 工具】创作者狂喜!虚拟主播、数字人短剧、AI带货，全靠这一个模型起飞 （附开源地址）
qq_30680739的博客
03-24 1246
创作者提效神器！
数字人开源项目_(Digital_human_project)_MiniMeta.zip
09-01
数字人开源项目_(Digital_human_project)_MiniMeta
全球首个开源AIGC数字人模型免费使用，手机端可跑！
m0_59164304的博客
06-17 7888
duix.ai，全称为"Dialogue User Interface System"，是一个集成了数字化虚拟人与AI技术的开源项目，由硅基智能开发的，旨在打造一个数字人智能交互平台。它通过结合最新的人工智能研究成果，为用户提供了一系列强大的功能和工具，使得虚拟人不仅能够进行智能交互，还能够在多种商业场景中得到应用。duix.ai允许开发者在Android和iOS等设备上一键部署，为用户提供即时的虚拟人互动体验。
全球首个真人级、 实时渲染数字人模型开源了！
qq_40025179的博客
07-16 1775
它允许开发者将数字人交互能力集成到自己的应用中，通过开源的方式，开发者可以接入多种大模型、语音识别（ASR）、语音合成（TTS）等能力，实现数字人实时交互。DUIX支持在Android和iOS等多终端上进行一键部署，使得开发者可以轻松创建智能化、个性化的数字人Agent，并且可以应用到视频、媒体、客服、金融、广电等多个行业。： DUIX数字人模型支持50帧/秒以上的超流畅画面质量，远超电影级的24帧/秒标准，为用户提供更加自然和逼真的交互体验，满足直播等一些对实时性要求很高的场景。
全球首个数字人，开源！
公众号：逛逛GitHub
06-24 6033
全球首个 2D 真人级、AIGC 实时渲染数字人模型开源了！DUIX 是硅基智能打造的数字人智能交互平台。开源项目提供了详细的开放文档，方便你轻松开发出定制化的虚拟人应用。借助这个开源项目，开发者能够在 Android 或者 iOS 上一键部署数字人，为你的用户提供即时的虚拟人互动体验。硅基数字人SDK是完全开源的，底层推理引擎以及上层的商业化应用逻辑都开放了源代码。你可以深入了解其工作原理，并进...
AI数字人：AI数字人制作初探及相关开源简介
GIS摆渡人
06-30 7870
数字人这名字听着稀奇又别扭，其实它最初的原型大家都听过——NPC。玩过游戏的应该都知道，也就是游戏内玩家操纵的游戏角色，可以和玩家进行交互的角色。广义上讲可以说是计算机模拟出的具有人的形态的虚拟人都叫做数字人，在平常的观感上，数字人是整合了人物形象模拟、人物声音克隆、自然语言处理、知识图谱解析等众多世界领先的人工智能技术的可视化数字虚拟人。他通过对人物形象的复制模拟，人物声音的克隆及语音合成，可随时随地与真人进行准确交互性对话。
推荐，一个开源数字人平台项目
人工智能讲师分享前沿技术
06-03 2329
在应用层面，RGA、Agent等大模型应用的形态逐渐成为许多应用的“标配”，在数字人领域也被用于提升数字人的智能水平，改变人机交互的模式。助理版构建的是一问（远程或本地，移动或PC，语音或文字）一答（数字人或机器，移动或PC，语音或文字或RPA）的标准模式。此工程是一个完整的UE数字字人开源工程，可以配合Fay数字人控制器，实现各种应用场景：虚拟主播、商品推销、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her等。Fay是一个数字人框架，它集成了语言模型和数字角色。
【全球首个开源AI数字人】DUIX数字人-打造你的AI伴侣！
寻道AI，探索AI无限可能！
06-29 1万+
数字人技术，作为人工智能领域的一个重要分支，近年来得到了迅猛发展。随着计算能力的提升、算法的优化以及大数据的积累，虚拟数字人不仅在外观上越来越接近真人，而且在交互能力上也日益智能化。数字人技术在客服、教育、娱乐等多个领域展现出广泛的应用前景。
目前全球生成数字人有哪些开源的项目？
热门推荐
iCloudEnd的博客
03-09 2万+
OpenAvatar是一个开源的数字人形象框架，能够帮助用户创建和部署高度可定制的数字人和虚拟形象。其目标是通过提供一组标准接口和现成的实现，使得开发人员能够快速轻松地构建出具有不同形态和功能特性的数字人。OpenAvatar的主要特点包括：多样性：OpenAvatar不仅支持不同的机器人和虚拟人物形象，还能够根据用户需求和场景需求，支持自定义形象和特征的创建。实时表达：OpenAvatar能够让数字人物产生更直观、自然、丰富的动作表达，向游戏、虚拟现实软件及社交媒体的开发提供更多实时表达特性的支持。
短视频数字人开源大模型及技术实现的具体操作步骤
03-14
<think>好的，我现在要帮用户了解短视频数字人开源大模型的技术实现步骤。首先，我需要明确用户的需求。用户提到了“短视频”、“数字人”、“开源”、“大模型”、“技术实现”和“操作步骤”这几个关键词，所以核心是要知道如何利用开源的大模型来实现数字人技术在短视频中的应用，具体步骤是怎样的。 接下来，我应该先回忆一下相关的技术知识。数字人技术通常涉及3D建模、动作捕捉、语音合成、AI驱动等。开源的大模型可能包括像阿里巴巴的EchoMimic或者其他类似项目。根据用户提供的引用，特别是引用[3]提到的EchoMimic，这可能是一个关键点。另外，引用[2]提到的Video-ReTalking技术，用于唇形同步，这也是数字人技术的一部分。 首先，我需要确定技术实现的基本流程。通常，数字人的创建步骤可能包括：数据采集、模型训练、动作与语音驱动、唇形同步、视频合成等。结合开源大模型，可能需要使用预训练的模型，然后进行微调或者直接应用。 然后，考虑用户提到的操作步骤。用户可能希望知道从零开始如何操作，比如选择什么工具、如何使用开源模型、如何集成到短视频制作中。例如，使用EchoMimic进行数字人生成，结合Video-ReTalking进行唇形同步，最后生成视频。 另外，需要注意技术实现中的关键点，比如数据准备、模型训练的计算资源、实时性要求等。短视频对实时生成可能要求不高，但需要高效的渲染和合成速度。 还需要检查是否有遗漏的步骤，比如是否需要3D建模软件，或者是否完全依赖AI生成。开源项目可能提供了一些自动化工具，减少了手动建模的需要。例如，EchoMimic可能提供了数字人生成的端到端解决方案，用户只需要提供音频和文本，就能生成对应的数字人视频。 还要考虑用户的技术背景。用户可能有一定的技术基础，但未必熟悉所有细节，所以步骤需要清晰，分点说明，并且可能需要推荐具体的工具或框架，比如使用GitHub上的开源项目，如何克隆代码库，安装依赖，运行示例等。 然后，验证每个步骤的可行性。比如，数据采集阶段是否需要特定设备，或者是否可以依赖公开数据集。模型训练是否需要GPU资源，这对于普通用户可能是个门槛，但开源项目可能已经提供了预训练模型，用户只需进行推理即可。 最后，整合所有信息，确保步骤逻辑清晰，涵盖从环境准备到最终部署的全流程，并且结合用户提供的引用内容，特别是引用[1]、[2]、[3]中的相关信息，确保引用正确，比如在提到数字人技术时引用[1]，在唇形同步时引用[2]，在开源大模型时引用[3]。 可能还需要考虑实际应用中的问题，比如如何调整数字人的外观、如何优化生成速度、如何处理不同语言的支持等。但用户主要关注操作步骤，所以这些可能作为后续优化的建议，而不是核心步骤。 总结下来，操作步骤可能包括： 1. 环境准备与工具选择 2. 数字人建模与驱动 3. 语音与唇形同步处理 4. 视频合成与后期处理 5. 部署与优化 每个步骤下需要详细说明使用的工具、方法和具体操作，比如使用EchoMimic进行数字人生成，使用Video-ReTalking进行唇形同步，使用FFmpeg进行视频合成等。同时，需要确保引用正确，比如在提到数字人技术时引用[1]，在唇形同步时引用[2]，在开源大模型时引用[3]。</think>### 短视频数字人开源大模型技术实现操作步骤 #### 1. **环境准备与工具选择** - **硬件要求**: 建议配置GPU（如NVIDIA RTX 3090及以上）以加速模型推理与训练。 - **软件依赖**: - 安装Python 3.8+、PyTorch、TensorFlow等深度学习框架。 - 使用Git克隆开源项目仓库（如阿里巴巴的EchoMimic[^3]）。 ```bash git clone https://github.com/alibaba/EchoMimic.git ``` - **数据集准备**: 收集或使用公开数据集（如VoxCeleb、GRID），包含人物视频、音频及对应文本。 #### 2. **数字人建模与驱动** - **3D建模**: 使用Blender或开源工具生成基础数字人模型，或直接调用预训练模型生成虚拟形象[^1]。 - **动作驱动**: - 通过关键点检测（如OpenPose）提取真人视频中的动作数据。 - 使用EchoMimic等大模型将动作数据映射到数字人模型，实现肢体和表情驱动。 ```python # 示例：调用EchoMimic驱动接口 from echomimic import Driver driver = Driver(model_path="pretrained/echomimic.pt") animations = driver.generate_pose(video_input) ``` #### 3. **语音与唇形同步处理** - **语音合成**: 使用TTS模型（如Tacotron2）生成音频文件。 - **唇形同步**: 调用Video-ReTalking技术[^2]，将音频与数字人嘴型匹配： ```python from video_retalking import sync_lip synced_video = sync_lip(input_video, input_audio) ``` #### 4. **视频合成与后期处理** - **多模态融合**: 将驱动后的数字人动作、唇形同步视频与背景合成。 - **渲染优化**: 使用FFmpeg或Unreal Engine进行光影、分辨率增强。 ```bash ffmpeg -i animation.mp4 -i audio.wav -c:v libx264 -c:a aac output.mp4 ``` #### 5. **部署与优化** - **轻量化部署**: 使用ONNX或TensorRT优化模型推理速度。 - **实时交互**: 集成到短视频平台API，支持用户输入文本/音频实时生成数字人内容[^1]。 --- ### 技术实现示意图 $$ \text{输入} \xrightarrow{\text{语音/文本}} \text{TTS} \xrightarrow{\text{唇形同步}} \text{数字人驱动} \xrightarrow{\text{渲染}} \text{输出视频} $$ ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值