3D人体重建从单张图中-DeepHuman: 3D Human Reconstruction from a Single Image

纯前端实现人体抠图背景融合-调用Face++抠像接口API实现人像抠图 背景 H5项目需求,用户上传半身照,程序抠出人像,跟指定背景融合成一张海报。   解决方法 目前市面上只查到face++有这种 抠图接口。 调用URL: https://api-cn.faceplusplus.com/humanbodypp/v2/segment 调用方法: POST 请求参数: 是否必选 参数名 类型 参数说明 ... ... ... 阅读详情

论文链接:http://www.liuyebin.com/deephuman/assets/DeepHuman.pdf

摘要

        我们提出深度人体,一个图像导向立体到立体的转换CNN对3D人体重建从一个单张RGB图像。为减少干扰涉及在表面几何重建,即使对不可见的区域也可以进行重建,我们提出和利用一个稠密的语义展示形成从SMPL模型作为一个外部的输入。一个关键特征在我们的网络融合不同尺度的图像特征进入3D空间通过立体特征转换,来帮助恢复精确表面几何。这可见表面细节较进一步重构通过一个正向重建网络,它能够被连接使用立体生成网络使用我们的提出的立体几何正投影层。我们也提供了THuman,一个3D真实世界的人体模型数据集,包含7000个模型。这个网络被训练使用训练数据形成从数据集中。总之,由于特定设计我们的设计和多样的数据集,我们的方法能够对3D人体模型评估,只需要给定单张图像和具有较好的性能。

给定单张图输入人体重建结果

系统结构

网络主要组成包括一个图像特征编码(橙色),立体到立体转换网络(蓝色&绿色),正向投影网络(黄色)。

不同方法结果对比

更多《计算机视觉与图形学》知识,可关注下方公众号:
在这里插入图片描述

人体三维重建——参数化人体方法简述 三维人体形状指的是以三维网格形式表示的人体几何形状模型。按照[1]中的分类方式,可以将三维人体形状重建粗略的分为参数化方法与非参数化方法。本次先介绍参数化方法。 参数化人体形状重建方法依赖于某个基于统计得到的人体参数化模型,仅需一组低维向量(即人体参数)即可描述人体形状。目前常见的参数化人体模型如SCAPE[2]、SMPL[3]、SMPL-X[4]等。 以SCAPE为例,它定义了两个独立的低维参数空间:人体体型(Shape)空间与人体姿态(Pose)空间。给定空间下的一组人体体型参数与人体姿态参数,即可 阅读详情

相关推荐

中兴FTTR光猫变简易OLT:低成本搭建全光监控与局域网实战指南

本文详细介绍了如何将中兴FTTR光猫改造为简易OLT设备,实现低成本全光监控与局域网扩展。通过LOID认证、桥接模式设置及终端数破解,用户可利用二手设备搭建高性能光纤网络,适用于远程监控和长距离组网场景,显著降低部署成本。

chair的专栏 2046

DeepHuman:从单一图像中3D人体重建

摘要:我们提出DeepHuman,一种图像引导的体到体转换CNN,用于从单一的RGB图像进行3D人体重建。为了减少与表面几何重建相关的模糊性,甚至对于不可见区域的重建,我们提出并利用从SMPL模型生成的密集语义表示作为额外的输入。我们的网络的一个关键特征是通过体积特征变换将不同尺度的图像特征融合到三维空间中,这有助于恢复精确的表面几何。可见表面细节通过常规精细网络进一步细化,该网络可以使用我们提出的体积法向投影层与体积生成网络连接。我们还提供了一个包含约7000个模型的三维真实人类模型数据集——THuman

一只大憨憨的博客 4245

Android开发- (2)MediaProjection API实战:构建高效屏幕共享与远程控制方案

本文深入探讨了Android开发中利用MediaProjection API实现高效屏幕共享与远程控制方案的实战方法。文章从权限申请、虚拟屏幕创建讲起,详细解析了图像捕获、编码压缩、Socket网络传输的核心流程,并进一步介绍了如何构建双向控制通道及关键的性能优化与避坑指南,为开发者构建稳定可用的远程协作应用提供了完整路径。

weixin_29207533的博客 454

探索DeepHuman:构建3D人体模型的技术利器

探索DeepHuman:构建3D人体模型的技术利器 项目简介 是一个开源项目,旨在通过深度学习技术帮助用户创建精准、逼真的三维人体模型。它由郑泽榕开发并维护,提供了一种创新的方法来处理计算机视觉中的人体建模问题,让艺术家、开发者和科研人员都能轻松生成高质量的3D人物。 技术分析 DeepHuman的核心是基于深度学习的网络架构,它能从二维图像中恢复三维信息。这一过程涉及以下关键技术: 多视图一致...

gitblog_00002的博客 642

PD3.0详解 协议的时序timer和counter计数

前面介绍了关于PD协议的交互,还有协议层数据各个字段的含义,但是一直没有系统的说关于协议的时序,还有部分counter,就是协议允许发送的次数,或者一些其他计数。 大师匈今天说一下关于这方面的东西,这些东西都是非常关键的东西,但是相对来说PD标准内对时序的要求还是比较宽泛,非常容易能够实现这样的要求。 Timer 1、CRCReceiveTimer 0.9~1.1ms 表示每次通信收到goodcrc的时间,必须在这个时间内收到goodcrc, 我们要注意不是在0.9~1.1ms内,而是第三方可以在这个范

大师匈的博客 5007

详解FreeRTOS:FreeRTOSConfig.h系统配置文件(拓展篇—1)

FreeRTOS的系统配置文件为FreeRTOSConfig.h,在配置文件中可以完成FreeRTOS的裁剪和配置,这是非常重要的一个文件,本篇博文就来讲解这个文件。

不脱发的程序猿 1551

DeepHuman 笔记

DeepHuman: 3D Human Reconstruction from a Single Image 概要:从单个RGB图片进行人体三维重建,其使用了深度学习的框架,一种图像导引的体积到体积平移CNN。还提供了一个包含约7000个模型的3D真实人体模型数据集–THuman。该数据集可以考虑用到我的对抗网络里面。 该方法从粗到精的方式进行三维人体重建,将任务分解为三个子任务:a)从输入图像进行参数化人体估计,b)从图像和估计物体进行表面重建,以及c)根据图像进行可见的表面细节细化。 THuman有大约

weixin_44728640的博客 1247

Linux | Ubuntu18.04安装WIFI6 AX201驱动完整教程

本节介绍了如何在Ubuntu18下安装AX201驱动的教程。

九七的博客 8884

从单张图重建三维人体模型综述(四)

《Temporal Consistency Loss for High Resolution Textured and Clothed 3D Human Reconstruction from Monocular Video》 我们提出了一种从单目视频来学习时间一致的三维重建人衣服的新方法。使用体积、隐式或参数化人体形状模型从单目视频进行三维人体重建的最新方法产生每帧重建,在应用于视频时,会产生时间不一致的输出和有限的性能。在本文中,我们介绍了一种从单目视频中学习时间一致性特征的方法,该方法通过提出两个改进

CSS360的博客 1128

机器人控制基础:伺服驱动电机 PID 参数自适应控制的实现方法及研究

伺服电机PID参数自适应控制技术研究 摘要:针对伺服驱动电机在动态负载工况下传统PID控制性能下降的问题,本文研究了多种自适应控制方法。通过分析6种主流技术(包括模型参考自适应、模糊逻辑、神经网络等)的原理、实现步骤及适用场景,揭示了负载感知精度、参数调节实时性和系统稳定性三大技术难点,并提出了相应解决方案。以模糊自适应PID为例的实验验证表明,该技术能有效提升伺服系统在变负载条件下的控制性能。研究为工业应用中伺服电机的精确控制提供了重要参考。

start_up_go的博客 829

热力学仿真软件:SimScale_(1).SimScale入门与基础操作

导航栏:位于页面顶部,包含项目管理、仿真设置、结果分析等主要功能。项目列表:展示用户创建的所有项目。工作区:用于进行具体的操作,如几何建模、网格划分、边界条件设置等。控制台:显示操作日志和仿真进度。网格划分是将几何模型离散化为一系列小单元的过程,这些单元用于求解热力学方程。SimScale提供了多种网格划分方法,包括结构化网格和非结构化网格。SimScale提供了丰富的API接口,用户可以通过编程语言进行二次开发,实现自动化仿真和结果分析。项目管理:创建、删除和管理项目。几何建模:创建、导入和修复几何模型。

kkchenjj的博客 1871

从单张图重建三维人体模型综述(二)

《3D Human Body Reconstruction from a Single Image via Volumetric Regression》 本文提出使用端到端卷积神经网络通过体积回归直接重建人体的三维几何结构。所提出的方法不需要拟合形状模型,并且可以从各种输入类型(无论是标记点、图像还是分割模板)进行训练。此外,不可见的部分,无论是自遮挡的还是其他的,仍然被重建,这与深度图回归不同。我们提出的结果表明,我们的方法可以处理姿态变化和详细的重建给定适当的数据集的训练。 《Combining Imp

CSS360的博客 984

RLHF 家族的奇巧魔改:On Policy 与 Off Policy 路线大PK

无论是 On Policy 还是 Off Policy,RLHF 家族的“魔改”之路都充满了奇思妙想。相信随着研究的深入,RLHF 技术将会在 Alignment 领域发挥越来越重要的作用。

步子哥的博客 2083

从单张图重建三维人体模型综述(三)

《Multi-View Consistency Loss for Improved Single-Image 3D Reconstruction of Clothed People》 我们提出了一种新的方法,以提高从一个单一图像三维重建服装人体形状的精度。最近的工作引入了体积、隐式和基于模型的形状学习框架,用于从一个或多个图像重建对象和人。然而,由于服装、头发、身体大小、姿势和相机视点导致形状的巨大变化,服装人体重建的准确性和完整性受到限制。本文介绍了克服这一局限性的两项进展:一是新的真实服装人合成数据集3

CSS360的博客 1356

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

3D Human相关研究总结:人体、姿态估计、人体重建等

©PaperWeekly 原创 ·作者|张莹单位|腾讯本文简要介绍与 3D 数字人相关的研究,包括常用 3D 表示、常用 3D 人体模型、3D 人体姿态估计,带衣服 3D 人体重建,3D...

Paper weekly 1万+

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

从单张图重建三维人体模型综述(一)

《DeepHuman: 3D Human Reconstruction from a Single Image》 我们提出了DeepHuman,一种用于从单个RGB图像重建三维人体的图像引导体积到体积的CNN。为了减少与曲面几何重建相关的歧义,甚至对于不可见区域的重建,我们提出并利用SMPL模型生成的密集语义表示作为额外输入。我们网络的一个关键特征是,它通过体积特征变换将不同比例的图像特征融合到三维空间中,这有助于恢复精确的曲面几何。可见表面细节通过法线细化网络进一步细化,该网络可以使用我们提出的体积法线投

CSS360的博客 2090

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

3D Face Reconstruction from a Single Image

学习,诺丁汉大学和金斯顿大学的一队AI专家,最近的一个新研究成果:使用机器学习算法,只需要一张人脸照片,就能生成3D人脸。 怎么做到的?其实背后是一个卷积神经网络,研究人员把大量人脸数据喂给这个网络进行训练,最终这个AI学会了从照片脑补出3D人脸。 Demo 想尝试一下的朋友,可以赶紧前往下面这个网址: http://cs.nott.ac.uk/~psxasj/3dme/ 论文 这

jinxinsummer的博客 2572

3D Human Body Reconstruction from a Single Image via Volumetric Regression笔记

3D Human Body Reconstruction from a Single Image via Volumetric Regression (基于体积回归的单幅图像三维人体重建) Abstract 本文提出了一种端到端的卷积神经网络,通过体积回归直接重建人体的三维几何形状。该方法不需要拟合形状模型,并且可以从各种输入类型进行训练,无论是地标、图像还是分割掩码。此外,不可见部分,无论是自遮挡的还是其他的,仍然被重建,这与深度图回归的情况不同。实验结果表明,在给定合适的训练数据集的情况下,我们的方法既

weixin_44728640的博客 2393

由人脸图片重建出三维人脸网格

预备知识。 人脸的参数化模型 V(α)=As平均人脸+∑iαi形状系数Es,i形状主元V(α)=As⏟平均人脸+∑iαi⏟形状系数Es,i⏟形状主元 V(\alpha)=\underbrace{A_{s}}_{\text{平均人脸}} + \sum_{i} \underbrace{\alpha_{i}}_{\text{形状系数}} \underbrace{E_{s,i}...

浪迹天涯 9906

3D人体重建方法漫谈

1 概述 为了让计算机更能理解人类行为,参与人类的生活,与人类交互,获取人体3D姿态和形状就显得尤为重要。目前3D人体重建的方法按照使用的方法不同可以归纳为2类:其一利用已有的人体数据模型,直接从单张RGB图片中恢复人体三维模型(模型匹配);二是用深度传感器直接采集深度信息,再用拼接的方式构建完整模型(Fusion 方式)。下面回顾这两种方法的研究现状。 2 模型匹配的方法 直接从RGB图片或者视...

Asimov_Liu的博客 1万+

单张图人体重建Convolutional Mesh Regression for Single-Image Human Shape Reconstruction

论文地址:https://arxiv.org/pdf/1905.03244.pdf 工程地址:https://www.seas.upenn.edu/~nkolot/projects/cmr/ 摘要 这篇文章目的解决问题3D人体姿态和形状估计从单张图像上。先前的方法考虑一个参数模型的人体框架,SMPL以及使用回归模型参数给上升到mesh一致图像证明。这个参数回归是一个非常具有挑...

CSS360的博客 2764

从2D图像生成3D模型,基于Im2Avatar

原文链接:Im2Avatar: Colorful 3D Reconstruction from a Single Imagegithub.com这个模型不仅可以生成3D模型,还可以生成颜色,现在我就介绍一下生成形状的部分,这个网络不是end to end的形式所以形状和颜色是分别训练的。源代码其实是python2写的,稍微改一下就可以用在python3中。它的网络我大致列一下,也欢迎指正:编码:解...

凌空的桨 1万+

三维人体重建

三维人体重建多张照片三维重建单张照片三维重建单段式两端式 多张照片三维重建 从照片的三维重建(3D Reconstruction)——MVS系列 单张照片三维重建 人像分割、人体姿势估计(关节点)、肢体分割-肢体运动、蒙皮生成 纹理(皮肤、衣服)贴图、运动控制(骨骼点的旋转向量)、表情变化(BlendShape) SMPL模型 https://www.jianshu.com/p/6305f1da8...

qq_34296627的博客 1万+

DensePose开源了,2D变3D人体姿势实时识别 | Facebook@CVPR 2018

圆栗子 编译整理量子位 出品 | 公众号 QbitAI大家可能还记得,今年2月Facebook发布的,人体姿势实时识别系统DensePose。现在,代码开源了。撒花。10...

量子位 1万+

三维模型重建(1):关于三维模型重建的一些简介

三维模型重建顾名思义就是从一些数据(点云,图片,三维轮廓线等)重建出物体的三维逼真的三维模型,在其重建的过程中针对不同的数据的的三维重建会有不同的处理算法,如针对点云数据的三维重建有很多种重建方法,如基于Delaunay三角化,Voronoi图,隐式曲面等方法,另外在三维模型的重建过程(MarchingCube,RayCast,网格构建等)以及三维模型生成后的后处理算法(三维网格简化,三维网格加密...

HW140701的博客 1万+
上一篇: 自适应航拍多车地面速度估计-An Adaptive Framework for Multi-Vehicle Ground Speed Estimation in Airborne Videos
下一篇: 简单理解与实验生成对抗网络GAN
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值