TPAMI 2024 | SMPLer: 驾驭Transformer 用于单目 3D 人体形状和姿态估计

最新推荐文章于 2025-05-16 16:59:58 发布
最新推荐文章于 2025-05-16 16:59:58 发布
阅读量305 收藏
点赞数 2
分类专栏： 论文解读 IEEE TPAMI 文章标签： transformer 3d 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42722197/article/details/139425029
版权

题目：SMPLer: Taming Transformers for Monocular 3D Human Shape and Pose Estimation

SMPLer: 驾驭Transformer 用于单目 3D 人体形状和姿态估计

作者：Xiangyu Xu; Lijuan Liu; Shuicheng Yan

摘要

神经辐射场（NeRF）在新视图合成方面表现出了巨大的成功。然而，由于潜在的校准信息不完善和场景表示不准确，现有的基于 NeRF 的方法在从现实世界场景中恢复高质量细节方面仍然面临挑战。即使使用高质量的训练帧，NeRF 模型生成的合成新视图仍然存在明显的渲染伪影，如噪声和模糊。为了解决这个问题，我们提出了 NeRFLiX，一种学习降解驱动的视点间混合器的通用 NeRF-无关恢复范式。特别地&#

了解本专栏 订阅专栏 解锁全文
TPAMI 2025 | Glissando-Net: 基于单视图的类别级姿态估计与3D重建
小白学视觉
03-12 458
我们提出了一种深度学习模型，名为Glissando-Net，能够从单张RGB图像中同时估计物体的姿态并重建其3D形状。以往的研究大多集中在姿态估计（通常是实例级）或形状重建，而Glissando-Net则同时解决了这两个问题。Glissando-Net由两个联合训练的自动编码器组成，一个用于处理RGB图像，另一个用于处理点云数据。我们采用了两个关键设计选择来实现更准确的3D形状和姿态预测：首先，我们通过从图像解码器中提取的特征图来增强点云编码器和解码器的特征图，从而在训练和预测阶段实现有效的2D-3D交互。
探索未来三维人像重建：SMPLer-X
gitblog_00007的博客
04-25 527
探索未来三维人像重建：SMPLer-X 去发现同类优质开源项目:https://gitcode.com/ 在数字世界中，真实感人的三维人物模型有着广泛的应用，如虚拟现实、游戏开发、电影制作等。今天，我们要向大家介绍一款强大的开源工具——，它提供了先进的技术和直观的界面，让三维人像重建变得简单易行。 项目简介 SMPLer-X 是基于 SMPL 模型（Statistical Model of Hum...
CLIFF、SMPLER-X梳理
一名学术垃圾的博客
11-28 1470
在HMR的基础上加入cx，cy，b，分别代表bounding box的中心横坐标，中心纵坐标，以及box的正方形边长，这样就相当于给了模型一个关于图片全局的位置信息。从手和脸的特征图中预测感兴趣的边界盒和作物区域的颈部;3.精调优化：使用2D全图重投影误差作为弱监督信号，先验推理得到的SMPL参数作为正则项，在待标注的2D数据上精调上述基础模型，得到最终的标注模型。本文提出了一种新型的3D伪标注方案，因其引入了裁剪框在全图中的位置信息，所得的3D标注更为准确，且其中的先验知识也使得标注信息更加真实合理。
【AIGC核心技术剖析】扩大富有表现力的人体姿势和形状估计SMPLer-X模型
源代码杀手的博客
10-19 527
富有表现力的人体姿势和形状估计 (EHPS) 将身体、手和面部运动捕捉与众多应用结合起来。尽管取得了令人鼓舞的进展，但当前最先进的方法仍然在很大程度上依赖于有限的训练数据集。在这项工作中，我们研究了将 EHPS 扩展到第一个通用基础模型（称为 SMPLer-X），以 ViT-Huge 作为骨干，并使用来自不同数据源的多达 450 万个实例进行训练。凭借大数据和大模型，SMPLer-X 在不同的测试基准中表现出强大的性能，并且即使在未见过的环境中也具有出色的可移植性。
SMPLer-X
whaosoft143ai的博客
11-24 408
研究人员对32个学术数据集进行了排名：为了衡量每个数据集的性能，需要使用该数据集训练一个模型，并在五个评估数据集上评估模型：AGORA、UBody、EgoBody、3DPW和EHF。总而言之，SMPLer-X探索了数据缩放与模型缩放（图1），对32个学术数据集进行排名，并在其450万个实例上完成了训练，在7个关键榜单（如AGORA、UBody、EgoBody和EHF）上均刷新了最佳性能。代码和预训练模型都已开源，更多详情请访问项目主页。4. 关于数据集的标注，伪标签的数据集在训练中也发挥了至关重要的作用。
SMPL 、 SMPL-X、SMPLify-X、SMPLer-X三维人体模型
qq_33690342的博客
11-30 1772
特性SMPLSMPL-XSMPLify-XSMPLer-X功能类型人体模型综合的人体、面部和手部模型2D 到 3D 关键点重建扩展的 2D 到 3D 重建框架参数类型形状和姿态参数多种参数（包括手和面）优化参数（基于 2D 关键点）适应多模态数据的优化参数应用领域运动捕捉、动画制作游戏、电影等多媒体应用计算机视觉中的 3D 重建更复杂的数据重建包括大规模应用研究时间2015201920202021复杂性基本中等高更高。
SMPLer-X 参数化大模型
p13672294967的博客
08-14 316
SMPLer-X 参数化大模型
Pytorch Sampler详解
aiwanghuan5017的博客
09-18 1万+
关于为什么要用Sampler可以阅读一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系。 本文我们会从源代码的角度了解Sampler。 Sampler 首先需要知道的是所有的采样器都继承自Sampler这个类，如下： 可以看到主要有三种方法：分别是： __init__: 这个很好理解，就是初始化 __iter__: 这个是用来产生迭代索引值的...
[Pytorch] Sampler, DataLoader和数据batch的形成
longroad1216的博客
03-03 1万+
1. 简介 本文将介绍pytorch采样器Sampler和数据加载器DataLoader，以及读取数据时每个batch形成的过程，解读其原理和代码。了解这些能帮助我们更好地研究采样(sample)方法和模型训练。希望阅读后能让各位对训练/测试数据产生的过程更加清晰。 让我们开始吧。 2. 整体流程 简要来说在pytorch中，Sampler负责决定训练数据的先后顺序，DataLoader负责装载数据并根据Sampler提供的顺序安排数据，具体过程绘图和描述如下。 初始化DataLoader的.
pytorch Dataloader Sampler参数深入理解
热门推荐
Chinesischguy的博客
11-22 2万+
DataLoader函数 参数与初始化 def __init__(self, dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=False, ...
pytorch分布式训练（四Sampler介绍）
m0_37400316的博客
07-08 4194
初步掌握pytorch分布式后（见文章1），接下来分析用到的类： 一、DistributedSampler（Sampler） pytorch在对dataset进行Sampler时候，通过修改indics进行识别在哪个GPU上运行，代码如下。 主要通过indices[self.rank:self.total_size:self.num_replicas]进行多GPU的index索引。 #class DistributedSampler(Sampler): #train_sampler = torch.uti
在微创手术中使用Kinova轻型机械臂进行多视图图像采集和3D重建
最新发布
欣佰特cnbestec的博客
05-16 483
Kinova轻型机械臂在微创手术中展现了其高精度和灵活性的优势，通过多视图图像采集和3D重建技术，为医生提供了详细的解剖结构模型，从而提高了手术的准确性和安全性。该机械臂采用模块化设计，可根据不同医疗需求进行定制，支持多种传感器和工具的集成，适应性强。其7自由度的设计确保了在复杂手术环境中的灵活操作，而先进的运动控制算法和远程中心运动模式则进一步减少了手术对患者组织的损伤。此外，Kinova机械臂结合了图像处理算法，如SfM和SLAM，以及深度学习技术，提升了3D重建的精度和效率。
3D迷宫探险：伪3D渲染与运动控制的数学重构
qq_42568323的博客
05-11 755
在计算资源受限的环境下，伪3D技术以巧妙的数学变换创造出身临其境的视觉体验。本文将解构射线投射引擎的核心算法，揭示第一人称控制的微分运动模型，并构建迷宫生成的图论体系，展现2D逻辑到3D感知的数学映射艺术。
4. 文字效果/2D-3D转换 - 3D翻转卡片
weixin_46261399的博客
05-14 1316
案例：3D产品展示卡片
用AI制作黑神话悟空质感教程，3D西游记裸眼效果，西游人物跳出书本
小小鱼儿小小林的博客
05-13 419
你是否也想打造这种立体效果？让人物仿佛从纸上跃然而出，质感逼真。这里我以西游记为例，大家完全可以根据个人喜好，尝试创作三国、水浒等题材的作品。
IJCAI 2025 | 高德首个原生3D生成基座大模型「G3PT」重塑3D生成的未来
高德技术
05-12 656
该模型通过单张图像即可生成高质量3D Mesh，其核心创新之处在于提出了Cross-scale Querying Transformer模块，实现了3D 数据的多尺度1D Tokenizer，并且引入了Next-scale Autoregressive架构，取代了传统GPT中的Next-token Autoregressive架构，从而巧妙地解决了3D数据无序性这一长期困扰自回归建模的关键难题。它有效地解决了3D数据的无序性和多分辨率特性带来的挑战，实现了从粗到细的高质量3D内容生成，并支持多种条件模态。
3DGS-to-PC：3DGS模型一键丝滑转 点云 or Mesh 【Ubuntu 20.04】【2025最新版！！】
举个栗子的博客
05-12 1092
3DGS-to-PC项目旨在将3D高斯泼溅（3DGS）场景转换为高密度点云，以便在常用3D软件中查看和编辑。该项目还支持生成网格模型，便于进一步处理。环境配置要求包括Ubuntu 20.04、CUDA 11.8、Python 3.x及已安装的3D Gaussian Splatting环境。项目提供了点云和网格生成功能，用户可通过命令行工具进行转换，并支持优化点云质量的高级参数。
医学影像处理与可视化：从预处理到 3D 重建的技术实践
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
05-12 518
本文深入探讨了医学影像处理与可视化的关键技术，涵盖从预处理到3D重建的全流程。医学影像处理的核心任务包括影像预处理（如窗宽窗位调整、去噪）、3D重建（如体视显微镜和表面渲染）以及可视化（使用VTK、ITK、3D Slicer等工具）。文章通过代码示例详细展示了如何使用ITK进行窗宽窗位调整和中值滤波去噪，以及如何使用VTK实现体视显微镜。这些技术依赖于DICOM文件的像素数据和元数据，广泛应用于医学诊断、手术规划和科学研究。文章为开发者提供了全面的技术指南，帮助其掌握医学影像处理与可视化的实践方法。
DaNet-3DHumanReconstruction: 利用密集身体部位进行3D人体重建
该资源主要涉及的是三维人体形状和姿态估计的最新研究。具体而言，这篇论文的标题指向了一项关于从密集的身体部位信息来学习和重建3D人体形状和姿态的技术。TPAMI20表示这篇论文发表在2020年的《IEEE Transactions ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值