AI论文探讨室·A+·第102期-Vid2Actor: Free-viewpoint Animatable Person Synthesis from Video in the Wild

深度学习三维人体建模最新论文、资源、数据、代码整理分享 三维人体建模作为计算机人体仿真的一个组成部分,一直是人们研究的热点之一。自交互式计算机图形学诞生之日起,就有学者不断探索计算机人体建模技术。从线框建模、实体建模、曲面建模发展到基于物理的建模,已取得重大进展。3维度人体建模在医学图像、生物医学、手势识别、视频会议、视频游戏、自动新闻播放、电影制作、材料变形、图象压缩等方面都有实际应用价值。 本资源整理了最近几年基于深度学习技术的三维人体重构(建模)相关的最新论文、资源、代码和公开数据集,分享给需要的朋友。 资源整理自网络,源地... 阅读详情

Vid2Actor: Free-viewpoint Animatable Person Synthesis from Video in the Wild
从自然环境视频合成自由视点动画人物
摘要
给定一个含有的人的自然环境视频,作者能够在视频中重建出一个人的动画模型。重建出的模型在不需要显性3D网格重建,只通过学习就能控制渲染任意姿态到任意相机视角。本文的核心是一个体3D人表示重建用一个深度网络训练输入视频,能够合成新颖的姿态/视角。本文的方法是优于基于GAN的图像到图像转换,因为它能通过图像内在的3D表示来合成任意姿态,与此同时还它不像基于Mesh学习方法需要预定义模型或者真值网络来进行训练。实验证明了设计选择,并在合成数据和不同人群进行无约束活动的真实视频上生成结果(例如:跳舞、打网球)。最后,作者在学习模型上证明运动重定位,子弹时间渲染。
在这里插入图片描述
系统流程图讲解
作者开始使用一个常量向量z通过神经网络来制造一个规范体积和运动权重体积。然后,与运动基相结合,从预定义的标准姿态和目标姿态导出,作者显性形变规范体积到一个扭曲体积和导出一个Mask体积,它被用来去Mask扭曲体积来得到一个目标体积。最后,作者渲染目标体积,然后优化渲染图像和真实图像的损失,优化网络参数来得到最后的规范和运动权重体。

在这里插入图片描述

实验结果
图(a)表示合成的新颖姿态和视角、图(b)为学习到的规范体积、图(c)为学习到的运动权重
在这里插入图片描述

结论
不足:模型的质量依赖于训练数据中的视图和姿态的多样性。一个多样的数据会生成更为尖锐的结果和对不可见地方能够重建较好。在介绍中值得注意的是,作者假设目标的外观是既不与视角相关,也不与姿态相关,这在现实世界或许是不合理的。作者通过引入感知损失来去减轻这些限制,使重建结果看似合理(即使真实的物理世界是不合理的)。未来研究工作将会研究依赖光照影响和较复杂形变的建模。例如:使用一个光照阶段来学习合成one-light-at-aptime(OLAT)图像,能够实现可重新照明的视频。另外,使用MLP网络处理隐式场景重建,来提出一条超越体素网格提高分辨率的方法。

了解更多关于《计算机视觉与图形学》相关知识,请关注公众号:

在这里插入图片描述

单目3D人脸重建DECA #SIGGRAPH2021单目3D人脸重建,皱纹可以随着表情而产生自然变化,更加逼真。 代码已开源DECA: Learning an Animatable Detailed 3D Face Model from In-the-Wild Images 单位 | 马普所 论文 | https://files.is.tue.mpg.de/black/papers/SIGGRAPH21_DECA.pdf 代码 | https://github.com/YadiraF/DECA 主页 | https:/... 阅读详情

相关推荐

DECA:DECA:详细的表情捕捉和动画

DECA:详细的表情捕捉和动画 输入图像,对齐的重建,具有各种姿势和表情的动画 这是DECA的Pytorch官方实施。 DECA从单个输入图像重建具有详细面部几何形状的3D头部模型。 可以轻松地对生成的3D头部模型进行动画处理。 有关更多详细信息,请参考。 主要特点: 重建:从单个图像产生头部姿势,形状,详细的面部几何形状和照明信息。 动画:以逼真的皱纹变形为面部动画。 鲁棒性:在不受限制的条件下对面部图像进行测试。 我们的方法对于各种姿势,照明和遮挡都是鲁棒的。 准确:基于基准数据集的最新3D面部形状重构。 入门 克隆仓库: git clone https://github.com/YadiraF/DECA cd DECA 要求 Python 3.7(numpy,skimage,scipy,opencv) PyTorch> = 1.6(pytorch3d) 面部对齐(用于检测面部) 你可以跑pip install -r requirements.txt 或通过运行使用虚拟环境bash install_pip.sh 然后按照说明安装 。 用法 准备数据一个。 下载,

从零到一:Vid2Avatar全流程部署指南(2025最新版)

你是否曾因以下问题困扰? - 专业3D建模软件操作复杂,学习成本高 - 现有Avatar生成方案对硬件要求苛刻 - 开源项目文档零散,配置过程处处踩坑 本文将提供一套完整的Vid2Avatar部署方案,通过12个步骤实现从视频到3D数字人的全流程转化。读完本文,你将获得: - 环境配置的最优实践(规避90%的常见错误) - 数据集预处理的自动化脚本 - 训练过程的监控与调优技巧 - 自定义视频处...

gitblog_00568的博客 956

Enterprise Architect 中文经典教程

本文使用到的EA工程文件下载 一、Enterprise Architect简介 Enterprise Architect是一个对于软件系统开发有着极好支持的CASE软件(Computer Aided Software Engineering)。EA不同于普通的UML画图工具(如VISIO),它将支撑系统开发的全过程。在需求分析阶段,系统分析与设计阶段,系统开发及部署等方面有着强大的支持,...

2万+

零基础玩转Vid2Avatar:自定义视频转3D Avatar的超详细步骤(含ROMP与OpenPose配置)

Vid2Avatar是一款基于CVPR2023论文实现的视频转3D Avatar工具,能从普通视频中重建出具有细节的三维人物模型。本文将带你从零开始搭建环境,完成从视频预处理到3D模型生成的全流程,即使是AI新手也能轻松掌握! ## 📌 核心功能展示 Vid2Avatar通过自监督场景分解技术,实现了从单目视频到动态3D Avatar的高质量重建。以下是实际效果展示: [![Vid2Ava

gitblog_00823的博客 349

Flowable前端可视化配置动态审批人:告别硬编码,实现部门领导、项目经理自动分配

本文详细介绍了Flowable前端可视化配置动态审批人的全栈解决方案,通过表达式分配、监听器分配等动态审批人机制,实现从硬编码到智能分配的转变。文章提供了前端扩展bpmn-js设计器、后端动态解析实现方案及性能优化建议,帮助企业应对组织架构变动,提升审批流程的灵活性和效率。

weixin_30352645的博客 473

SAP IDOC实战:如何用EDI实现跨公司采购订单自动生成销售订单(附完整配置步骤)

本文详细解析了如何利用SAP IDOC与EDI技术,实现跨公司采购订单自动生成销售订单的完整流程。通过实战案例,从业务蓝图设计、输出条件配置、伙伴参数设定到IDOC消息类型处理,提供了清晰的配置步骤与故障排查指南,帮助企业打通内部业务流,构建高效的自动化闭环。

weixin_29215815的博客 729

每日一看大模型新闻(2024.1.4)中国AIGC广告营销产业全景报告:五大变革四大影响;马斯克也逃不过「科目三」,阿里这个应用都要把外国人馋哭了;通义千问:上线图生视频功能

对于创业公司而言,这也是一个难得的机遇,可以通过创新应用生成式AI技术,打造更具竞争力的广告营销产品和服务。大模型和生成式AI技术在广告营销行业的应用日益广泛,从广告脚本生成、个性化广告推送,到赋能企业营销全流程,都呈现出前所未有的火热态势。:小冰公司宣布,他们去年12月成功获得了“小冰大模型”国内备案,实现了不同参数规模和用途的自研大模型产品的落地,并部分完成了新范式商业化验证。在科技创新领域,将以科学数据支持大模型开发,建设高质量语料库和基础科学数据集,以支持AI大模型的开发和训练。

liuxiuxiu3的博客 1241

松材线虫病害智能检测:基于YOLOv8的无人机航拍数据集构建与模型优化

本文探讨了基于YOLOv8的无人机航拍技术在松材线虫病害智能检测中的应用。通过构建高质量巡检数据集和优化模型架构(如RepVit主干网络和跨尺度特征融合模块),显著提升了病害识别准确率。该方案在复杂森林环境中表现出色,将检测效率提高数倍,为林业病害防控提供了高效解决方案。

vulkan6gpu的博客 995

Vid2Avatar: 3D 人像重建开源项目教程

Vid2Avatar 是一个通过自监督场景分解从视频中重建 3D 人像的开源项目。该技术可以在没有任何标注的情况下,直接从野外视频中进行人像重建。Vid2Avatar 利用深度学习技术,可以从视频帧中提取人像,并在三维空间中重建出具有详细形态和动作的人像模型。这项技术在虚拟现实、动画制作、游戏开发等领域有广泛的应用前景。 ## 2. 项目快速启动 ### 环境准备 - Python 3.7 ...

gitblog_00552的博客 869

【探秘】二维异形件重叠移除算法:从度量到消除的实战解析

本文深入解析二维异形件重叠移除算法的核心技术与实战应用,涵盖重叠度量、零件扰动策略及消除方法。通过NFP(临界多边形)技术、空间分区加速等优化手段,有效解决异形件排版中的重叠问题,提升材料利用率和计算效率。适合制造业、CAD软件开发者及算法工程师参考。

weixin_28698059的博客 253

Veristand自动化测试:Stimulus Profile Editor实战指南

本文是Veristand自动化测试中Stimulus Profile Editor的实战指南。详细介绍了如何利用这一图形化工具,将繁琐的手动测试流程转化为一键自动执行的“剧本”,涵盖工程控制、信号编程、预制动作调用等核心功能,并通过手把手案例演示了构建首个自动化测试脚本的全过程,帮助测试工程师显著提升效率与可靠性。

dd012的博客 495

Vid2Vid多图详解

简介 vid2vid是NVIDIA公司提出的一种图像翻译模型 ,通过输入语义图来生成视频,其是在pix2pix、pix2pixHD基础上改进出的模型,三者的演进思想如下: [1]最早pix2pix框架提出了一种统一的简洁优雅的框架解决了图像翻译问题,使用CGAN代替专家知识实现基本图像翻译效果。 [2]pix2pixHD是在pix...

马飞飞的博客 1万+

GeoXCP:可解释人工智能中空间解释的不确定性量化

GeoXCP: uncertainty quantification of spatial explanations in explainable AI提出基于保形预测(conformal prediction)的不确定性量化框架——地理空间解释保形预测(GeoXCP),将空间依赖纳入建模过程,生成具有校准不确定性估计的空间自适应解释。通过大量模拟实验和真实世界数据集验证,GeoXCP在不同地理空间场景中能提供可靠解释并有效量化不确定性,推动可解释地理空间机器学习的发展,帮助决策者评估模型驱动洞察的可信度。

May the Force be with you 244

58、NeuMan: Neural Human Radiance Field from a Single Video

NeuMan

小白的博客 1493

pycharm报错cannot start the IED:Error occurred during initialization of VMagent library failed...如何解决?

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值 。

**My Coding Family** 1930

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Learning an Animatable Detailed 3D Face Model from In-The-Wild Images

DECA论文阅读

qq_46144849的博客 992

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

3D人脸重建之DECA

论文:Learning an Animatable Detailed 3D Face Model from In-The-Wild Images Github:https://github.com/YadiraF/DECA 论文提出了基于单张彩色图片进行3d人脸重建的方法DECA(Detailed Expression Capture and Animation) ,在Nvidia Quadro RTX 5000上可以达到120fps。 row 1:原始输入样本数据 row 2:粗糙的形..

年轻即出发, 1万+

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

【3d face reconstruction】DECA论文阅读

题目:Learning an Animatable Detailed 3D Face Model from In-The-Wild Images(ACM Trans. Graph. 2021) 单位:Max Planck Institution 一、摘要 •提出了一种方法能够回归3D人脸形状并且有特定于个体的随表情变化的细节。 •提出的模型DECA(detailedexpressioncaptureandanimation)能够从由特定于人的细节参数和通用表情参数组成的低维潜在表示中稳健地生...

sinat_41736278的博客 2550

Learning an Animatable Detailed 3D Face Model from In-The-Wild Images论文笔记

数据准备:从网络收集大量真实图片构建训练集,使用基于深度学习的方法预测2D人脸轮廓和表情等。训练过程中结合对齐、重建和经典3DMM方法作为正则化,使预测的3D模型更精细和逼真。该方法适用于从非受控的野生图片中重建高质量3D面部,可用于多种下游任务。方法效果优于当前最先进技术,为从单张图片重建3D面部提供了进一步改进。可以从单张野生图片重建高质量3D人脸,包含精细的几何结构和表情细节。生成模型可直接用于3D动画,具有良好的泛化能力。生成的3D人脸模型可直接用于动画和渲染。

天马行空的博客 844

[TOG2021](DECA)Learning an Animatable Detailed 3D Face Model from In-The-Wild Images

DECA(Detailed Expression Capture and Animation) 目标 在弱监督的情况下训练一个从单张2D图片到3D人脸转换的模型。并且3D人脸可以生成真实的动画。 动机 基本就是为了提升FLAME的效果。基础的FLAME模型会受限于网格密度而丢失一些面部细节,例如皱纹。而DECA就是为了在这方面提升。 主要思想 同一个人在不同表情下,面部细节是有区别的(例如皱纹),但是与此同时,面部的整体形状是不会变化的。因此建模的时候应该将面部形状看做静态细节,而皱纹什么的看做动态细节。

wrk226的博客 2479

DECA的3D人脸重建(3D face reconstruction)

DECA的3D人脸重建(3D face reconstruction) flyfish DECA 全称 Detailed Expression Capture and Animation 论文名字《Learning an Animatable Detailed 3D Face Model from In-The-Wild Images》 原始代码下载地址 https://github.com/YadiraF/DECA 整理好源码和模型下载地址 链接:https://pan.baidu.com/s/1hlY

二分掌柜的 7740

One-Shot Face Reenactment on Megapixels 译文

One-Shot Face Reenactment on Megapixels 译文

weixin_41967328的博客 1127

Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection 笔记

摘要 非参数化人脸建模:不进行形状假设,直接从图像中重建三维人脸。虽然可以预测可信的面部细节,但模型往往过度依赖局部颜色外观,并且受模糊噪声的影响。 为解决如上问题,本文提出LAP框架,该方法不使用受控环境,而是隐式地从无约束的照片集中分离出ID一致的和场景特定的人脸(先从多图片中建模出人脸模型,然后通过与从目标图片中分离出的属性(环境等)相结合,最后获得场景特定的人脸)。具体地说,首先为了学习出ID一致的人脸,LAP基于一种新的课程学习方法,通过松弛一致性损失,自适应地...

LYStudyC的博客 782

3D Human相关研究总结:人体、姿态估计、人体重建等

©PaperWeekly 原创 ·作者|张莹单位|腾讯本文简要介绍与 3D 数字人相关的研究,包括常用 3D 表示、常用 3D 人体模型、3D 人体姿态估计,带衣服 3D 人体重建,3D...

Paper weekly 1万+
上一篇: Editable FreeViewpoint Video
下一篇: 论文解读:​Vid2Actor从自然环境视频合成自由视点动画人物
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值