GaussianAvatar 使用教程

最新推荐文章于 2025-04-05 10:20:01 发布
最新推荐文章于 2025-04-05 10:20:01 发布
阅读量513 收藏 6
点赞数 14
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gitblog_00345/article/details/147007948

GaussianAvatar 使用教程

GaussianAvatar [CVPR 2024] The official repo for "GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians" GaussianAvatar 项目地址: https://gitcode.com/gh_mirrors/ga/GaussianAvatar

1. 项目介绍

GaussianAvatar 是一个高效的方法，用于从单个视频中创建具有动态3D外观的逼真人形角色。该项目基于开源代码库 Gaussian-Splatting、POP、HumanNeRF 和 InstantAvatar 开发而成。GaussianAvatar 可以根据用户提供的视频，生成具有真实感的3D人形角色模型。

2. 项目快速启动

环境准备

首先，您需要创建一个虚拟环境并安装所需依赖：

conda env create --file environment.yml
conda activate gs-avatar

编译依赖库

接下来，您需要编译 diff-gaussian-rasterization 和 simple-knn：

按照 3DGS 仓库中的说明进行编译。

下载模型和数据

  • 注册并下载 SMPL/SMPL-X 模型，将文件放在 assets/smpl_files 目录下。
  • 从 OneDrive 下载提供的数据，包括 assets.zip、gs_data.zip 和 pretrained_models.zip。解压 assets.zip 到仓库对应文件夹，其他两个压缩包解压到 gs_data_path 和 pretrained_models_path。

运行示例

以 People Snapshot 数据集中的 m4c_processed 为例：

训练
python train.py -s $gs_data_path/m4c_processed -m output/m4c_processed --train_stage 1
评估
python eval.py -s $gs_data_path/m4c_processed -m output/m4c_processed --epoch 200
渲染新姿势
python render_novel_pose.py -s $gs_data_path/m4c_processed -m output/m4c_processed --epoch 200

3. 应用案例和最佳实践

  • 使用自定义视频进行训练和渲染。
  • 将 GaussianAvatar 应用于虚拟现实、游戏开发或动画制作中。

4. 典型生态项目

GaussianAvatar [CVPR 2024] The official repo for "GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians" GaussianAvatar 项目地址: https://gitcode.com/gh_mirrors/ga/GaussianAvatar

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

增强现实系列—GaussianAvatars: Photorealistic Head Avatar
u013889591的专栏
09-21 1437
我们介绍了 GaussianAvatars，一种用于创建逼真头像的新方法，头像在表情、姿态和视角方面完全可控。核心思想是基于3D高斯点的动态3D表示，这些点与参数化可变脸模型相绑定。该组合既能实现逼真的渲染，同时允许通过底层的参数化模型进行精确的动画控制，例如，通过从驱动序列中转移表情或手动更改可变模型参数。我们通过三角形的局部坐标系对每个高斯点进行参数化，并优化显式的位移偏移，以获得更准确的几何表示。在头像重建过程中，我们对可变模型参数和高斯点参数进行端到端的联合优化。
探索未来虚拟形象：GaussianAvatars —— 高真实感头像生成与3D高斯拟合
gitblog_00011的博客
06-08 1193
探索未来虚拟形象：GaussianAvatars —— 高真实感头像生成与3D高斯拟合 去发现同类优质开源项目:https://gitcode.com/ 在数字化世界中，构建逼真的虚拟形象已经成为一种趋势。今天，我们要向您介绍一个令人惊叹的开源项目——GaussianAvatars。这个项目采用创新的高斯拟合方法，为用户提供照片级真实的3D头像生成体验，不仅适用于游戏和社交应用，也能为电影和动画制...
[CVPR-24] GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians
qq_40731332的博客
12-19 3865
给定FLAME，基于每个三角面片中心初始化一个3D Gaussian（3DGS）；当FLAME mesh被驱动时，3DGS根据它的父亲三角面片，做平移、旋转和缩放变化； 3DGS可以视作mesh上的辐射场； 为实现高保真的avatar，本文提出一种蒙皮（binding）继承策略，在优化过程中，保持蒙皮对3DGS的控制；
GaussianAvatars
whaosoft143ai的博客
12-06 705
你前脚让自己的五官乱飞，后脚，一模一样的表情就被复现出来，瞪眼、挑眉、嘟嘴，不管多么夸张的表情，都模仿的非常到位。为了对虚拟形象动画进行现实世界的测试，该研究对图 4 中的 cross-identity reenactment 进行了实验，虚拟形象准确地再现了源演员的眨眼和嘴巴动作，显示出活泼、复杂的动态，例如皱纹。该研究表示，在计算机视觉和图形学中，创造可以动的人类虚拟头部一直存在挑战，特别是，极端的面部表情和细节，如皱纹、头发等这些细节都很难捕捉，生成的虚拟人物很容易出现视觉伪影。 whaosoft
GaussianAvatar安装与配置指南
gitblog_01113的博客
04-05 624
GaussianAvatar安装与配置指南 GaussianAvatar [CVPR 2024] The official repo for "GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatabl...
GaussianAvatar开源项目教程
gitblog_00551的博客
04-05 784
GaussianAvatar开源项目教程 GaussianAvatar [CVPR 2024] The official repo for "GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable...
探讨人工智能在计算机通信与电子信息技术中的应用.docx
06-25
探讨人工智能在计算机通信与电子信息技术中的应用
网络广告营销成功案例.ppt
06-25
网络广告营销成功案例.ppt
Laview与Python人脸识别技术整合
06-25
资源下载链接为： https://pan.quark.cn/s/27e1210fbf58 本项目是一个基于Python 3.6（64位）和LabVIEW 2019（64位）联合开发的人脸检测与人脸识别功能演示程序，仅支持在Windows（64位）操作系统上运行。需注意，LabVIEW需预先安装VAS模块。各位朋友在下载该项目后，务必要先仔细阅读readme.txt文件，其中包含了重要的使用说明和注意事项等关键信息，以确保程序能够顺利运行并发挥其功能。
基于Jieba开发的自然语言处理工具
06-25
使用python开发自然语言工具（可以下载直接运行），链接mongoDB数据库进行数据非结构化转结构化处理，生成结果可导出CSV格式。
大家看手机打开拉萨接口对接ask角度考虑去
06-25
大家看手机打开拉萨接口对接ask角度考虑去
vue3+ts项目mock demo
06-25
1.技术栈：vue3+typescript+vite+element-plus 2.使用mock server，可快速构建演示项目
大数据概论.ppt
06-25
大数据概论.ppt
PLC-模拟量控制.ppt
06-25
PLC-模拟量控制.ppt
网络游戏对青少年的危害38322.ppt
06-25
网络游戏对青少年的危害38322.ppt
高密度任务场景下测运控设备故障的实时监测与智能诊断体系研究.docx
06-25
高密度任务场景下测运控设备故障的实时监测与智能诊断体系研究
三菱plc编程案例--经典案例.ppt
06-25
三菱plc编程案例--经典案例.ppt
基于EasyPoi实现多Sheet数据导出至Excel文件
最新发布
06-25
资源下载链接为： https://pan.quark.cn/s/dab15056c6a5 以下是一个基于Struts2 + Spring + Hibernate框架的EasyPoi多Sheet页导出实例代码，支持多表头、合并单元格，通过注解方式实现Excel导出功能。代码简洁易懂，方便快速实现Excel导出。 数据库中包含student和teacher两张表，分别存储学生和教师信息。 Java实体类Student和Teacher通过EasyPoi注解定义了表头信息。 ExcelExportUtil工具类用于生成多Sheet页的Excel文件。 ExcelExportAction类通过调用业务层获取数据，并使用工具类生成Excel文件，通过Struts2的流式结果返回给客户端。 struts.xml配置了Action的映射和结果类型。 通过以上代码，可以轻松实现多Sheet页的Excel导出功能，支持多表头和合并单元格，代码简洁且易于维护。
gaussianavatar 中直接预测 color scale 和位移 那我怎么保存 ply 文件呢？或者如何在三维下看呢？
03-11
<think>好的，我现在需要解决用户关于如何保存ply文件或者在三维中查看GaussianAvatar中直接预测的颜色缩放（color scale）和位移的问题。首先，我得回忆一下GaussianAvatar的基本框架。GaussianAvatar应该是一个基于3D高斯泼溅（3D Gaussian Splatting）的动态人体建模方法，通常这类方法会处理3D高斯分布，包括位置、颜色、透明度等属性。 用户提到直接预测color scale和位移，这可能是指在模型训练或推断过程中，每个高斯元素的颜色缩放参数和位置偏移被动态调整。现在，用户的问题是如何将这些数据导出为PLY文件或者在三维环境中可视化。 首先，我需要确认PLY文件的结构。PLY文件通常包含顶点、面片、颜色、法线等信息。对于3D高斯泼溅来说，每个高斯可能由位置（xyz）、颜色（RGB）、透明度（alpha）、协方差矩阵（旋转和缩放）等参数组成。但PLY文件通常存储的是点云或网格，而高斯泼溅的数据结构可能更复杂，所以需要将高斯参数转换为适合PLY格式的数据。 可能的步骤包括： 1. 提取每个高斯的中心位置作为顶点坐标。 2. 将颜色缩放参数（color scale）可能与基础颜色结合，得到最终颜色值，存入PLY的顶点颜色属性。 3. 位移可能指的是高斯中心的偏移量，需要将预测的位移加到原始位置上，得到新的顶点位置。 4. 协方差矩阵中的旋转和缩放参数可能需要转换为PLY中的法线或自定义属性，但PLY格式可能不支持，因此可能需要简化处理，比如只保存位置和颜色。 接下来，如何保存为PLY文件。Python中可以使用库如`plyfile`或者`open3d`来创建和保存PLY文件。假设每个高斯对应一个顶点，那么需要将所有高斯的中心位置（加上位移后的坐标）和颜色保存到顶点中。例如，使用`plyfile`库，可以创建一个包含顶点坐标和颜色的PLY文件。 另外，关于三维查看，用户可能需要使用如MeshLab、CloudCompare，或者Python中的Open3D、PyVista等库加载PLY文件进行可视化。如果保存的是点云，这些工具都可以直接显示；如果包含其他属性，可能需要调整着色方式。 可能的注意事项： - 确保导出的坐标是位移后的正确位置。 - 颜色可能需要归一化到0-255范围，并转换为整数。 - 如果高斯泼溅使用球谐函数（Spherical Harmonics）表示颜色，可能需要先计算基础颜色，再应用color scale。 现在，我需要验证这些思路是否正确。比如，在GaussianAvatar的实现中，每个高斯的位置是否可以直接获取，位移是否是相对于某个基准位置的增量。此外，颜色缩放参数可能是一个缩放因子，需要与基础颜色相乘得到最终颜色值。 最后，总结步骤：提取位置、应用位移、计算颜色、保存为PLY，使用三维工具查看。可能需要参考GaussianAvatar的具体代码实现，找到存储高斯参数的部分，如位置、位移量、颜色参数等，然后编写导出函数。</think>在GaussianAvatar中保存预测的color scale和位移为PLY文件，并通过3D工具查看的步骤如下： --- ### **步骤1：提取高斯参数** - **获取位置和位移** 从模型输出中提取每个高斯的`中心位置（xyz）`和`预测的位移（Δx, Δy, Δz）`。 计算最终位置： $$ p_{\text{final}} = (x + \Delta x, y + \Delta y, z + \Delta z) $$ - **提取颜色参数** 获取`基础颜色（RGB）`和`color scale（缩放因子）`，计算最终颜色： $$ \text{Color}_{\text{final}} = \text{RGB} \times \text{color\_scale} $$ 若使用球谐函数（Spherical Harmonics），需先计算基础颜色再应用缩放。 --- ### **步骤2：构建PLY文件** PLY文件需要包含顶点坐标和颜色信息，格式示例： ```python from plyfile import PlyData, PlyElement import numpy as np # 假设有N个高斯 positions = [...] # 形状 (N,3) 的最终位置 colors = [...] # 形状 (N,3) 的最终颜色（0-255范围） # 定义顶点数据结构 vertex_data = np.array( [(pos[0], pos[1], pos[2], r, g, b) for pos, (r, g, b) in zip(positions, colors)], dtype=[('x', 'f4'), ('y', 'f4'), ('z', 'f4'), ('red', 'u1'), ('green', 'u1'), ('blue', 'u1')] ) # 创建PlyElement并保存 vertex_element = PlyElement.describe(vertex_data, 'vertex') PlyData([vertex_element]).write('output.ply') ``` --- ### **步骤3：三维可视化** - **工具推荐** - **MeshLab/CloudCompare**：直接导入PLY文件，支持点云颜色渲染。 - **Python库（Open3D）**： ```python import open3d as o3d pcd = o3d.io.read_point_cloud("output.ply") o3d.visualization.draw_plotly([pcd]) ``` --- ### **注意事项** 1. **颜色归一化**：确保颜色值在0-255范围内（例如通过`(color * 255).astype(np.uint8)`）。 2. **位移叠加**：若位移是相对值，需叠加到原始坐标上。 3. **协方差处理**：PLY不支持直接存储高斯协方差矩阵，可简化为点云或导出为自定义属性。 --- 通过以上步骤，即可将GaussianAvatar的输出保存为PLY文件，并在3D工具中查看颜色和位移效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孙樱晶Red

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值