“photo wake-up”第三周个人工作总结

“photo wake-up”创新项目实训第二周总结 2019年3月29号 设定今周工作目标 上周我们已经可以从输出的一个二维图片输出人体的14个关节点,下一步就是研究Convolutional pose machines的输出是什么,怎么把这些输出设配到一个三维模型中。 首先我们开始研究2016年的一篇论文 keep it SMPL (F. Bogo, A. Kanazawa, C. Lassner, P. Gehler, J. Romero, a... 阅读详情

2019年3月29号
/马晓颖

上周我们已经可以从输出的一个二维图片输出人体的14个关节点,下一步就是研究Convolutional pose machines的输出是什么,怎么把这些输出设配到一个三维模型中。

首先我们开始研究2016年的一篇论文 keep it SMPL
(F. Bogo, A. Kanazawa, C. Lassner, P. Gehler, J. Romero, andM.J.Black. KeepitSMPL:Automaticestimationof3D human pose and shape from a single image. In Computer Vision – ECCV 2016, Lecture Notes in Computer Science. Springer International Publishing, Oct. 2016)

SMPL模型:
论文地址 http://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

SMPL模型是一种参数化人体模型,是马普所提出的一种人体建模方法,该方法可以进行任意的人体建模和动画驱动。这种方法与传统的LBS的最大的不同在于其提出的人体姿态影像体表形貌的方法,这种方法可以模拟人的肌肉在肢体运动过程中的凸起和凹陷。因此可以避免人体在运动过程中的表面失真,可以精准的刻画人的肌肉拉伸以及收缩运动的形貌。

官方的运行效果

在这里插入图片描述

而且模型添加了camera参数,得到模型后可以得到不同角度的模型,估计camera参数在后期投影得出二维图像时会有用

在这里插入图片描述

该模型输入的是图片及其关节点,输出的是一个可用的三维模型,十分符合我们任务的要求,而且文章代码已公开,我们尝试跑通这份代码。

试跑demo阶段

代码需要在linux系统下跑,而且我个人电脑环境缺失比较多,按照README中步骤一步一步配环境装库还是遇到了比较多的问题。

这部分是我的小伙伴们完成的,为他们鼓个掌掌!

解决完这些问题之后,用官方的LSP数据集以及训练好的关节点可以得出以下结果

在这里插入图片描述

也得出以下的temp文件
在这里插入图片描述

原论文与源码阅读阶段
生成模型主要是人体十四个关节点的数据。通过进一步分析知道了节点的顺序( Right ankle,Right knee,Right hip,Left hip, Left knee, Left ankle,Right wrist, Right elbow,Right shoulder, Left shoulder, Left elbow ,Left wrist, Neck ,Head top)以及节点信息存储的位置。节点信息存储在/smplify_public/results/est_joints.npz文件中,读取该文件,发现是一个键为‘est_joints’值为(28, 14, 2000)的列表的字典。

因此阅读cpm的源码,将其中表示关节点的信息存储到npz文件中,同时修改相应的性别信息,运行cpm模型,得到并存储关节点信
在这里插入图片描述

运行smpl代码

在这里插入图片描述

效果还可以!

分析得出的数据

在这里插入图片描述

得到三个数据

cam_t//应该是照相机translation参数
pose//大概就指示着模型参数
beta//是照相机ratation参数
f//猜测为焦距

弄清楚这些参数是什么,怎么通过这些参数作为输入构建出可用的三维模型并得出其法线贴图,蒙皮贴图,深度图,就是下一步任务了

公众号:计算机视觉与图形学实战

 


 

PhotoWakeUp —— 创新实训(8) github地址https://github.com/HWenTing/Photo-Wake-Up 鉴于边界点等效果较差,采取两种措施 (1)使用bfs思想平滑图片。通过常识我们知道,相邻像素之间的深度值不会差别很大。从这种想法出发,选取基本点,然后用bfs方法减少相邻的像素之间的深度值差。主要代码如下 import queue # 从中心点开始,bfs向外扩展,将变化大的... 阅读详情

相关推荐

汇川伺服驱动器参数优化实战指南

本文详细介绍了汇川伺服驱动器参数优化的实战技巧,涵盖控制模式选择、电子齿轮比调整、刚性匹配与振动抑制等关键内容。通过实际案例和实用技巧,帮助工程师快速掌握伺服驱动器参数调校方法,提升设备运行精度和稳定性。特别针对高精度定位和高速响应场景提供了专业指导。

weixin_29070721的博客 741

照片唤醒-photowakeup

记录下暑假的结果

qq_43218657的博客 801

加密视频如何破解 如何解除机器码绑定的视频

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 如何破解加密...

Q-980767270的博客 5万+

“photo wake-up”创新项目实训第一周开题总结

项目名称:“photo wake-up”基于二维图像的三维人体模型重建 项目开始时间:2019年3月16日 项目背景: 《哈利波特》世界里有一种神奇的魔法报纸,报中照片上的人物可以动起来,看起来有点像 GIF 图。在故事里这当然是「魔法」的功劳,现实世界中还没有造出这样的报纸。我们想通过现有对图像的研究,使用AI算法,实现这个过程。华盛顿大学的几个科学家已经研究出来这样的算法,他们提出了一种使单一图片中的人物动起来的方法,图中的人物在三维场景下可以行走,奔跑,坐下或跳跃。 官方表示成果:https://

CSS360的博客 222

kaggle竞赛平台上数据集下载详解

从kaggle 网站上下载数据集既保证了速度又避免了网络的不稳定造成下载失败问题。该平台也可以上传代码作为自己的代码库,不过本人更习惯将代码上传到github上。希望本人整理的kaggle库使用技巧能够帮助到正在阅读本博客的你。此外还有一篇博客针对kaggle数据集下载问题的几个问题的相关文章进行了整理【博客链接】。

li1784506的博客 2万+

ScottPlot vs LiveCharts:WPF图表库性能对比与MVVM适配方案

本文深度对比了WPF图表库ScottPlot与LiveCharts在性能与MVVM架构适配上的表现。通过十万级数据点的基准测试,ScottPlot在渲染速度与内存占用上优势显著。文章重点探讨了两种库在MVVM模式下的集成方案,为开发者根据项目需求(如实时监控或快速原型)进行技术选型提供了实战指导。

lll78的博客 245

三维人体重建

三维人体重建多张照片三维重建单张照片三维重建单段式两端式 多张照片三维重建 从照片的三维重建(3D Reconstruction)——MVS系列 单张照片三维重建 人像分割、人体姿势估计(关节点)、肢体分割-肢体运动、蒙皮生成 纹理(皮肤、衣服)贴图、运动控制(骨骼点的旋转向量)、表情变化(BlendShape) SMPL模型 https://www.jianshu.com/p/6305f1da8...

qq_34296627的博客 1万+

感应加热电源设计避坑指南:半桥LC串联谐振的5个关键问题

本文深入解析半桥LC串联谐振在感应加热电源设计中的5个关键问题,包括均压电阻选型、功率管驱动时序、谐振频率补偿等实战经验。通过真实故障案例和解决方案,帮助工程师避开常见设计陷阱,提升电路稳定性和效率,特别适合从事桥感应加热电源开发的工程师参考。

weixin_27013291的博客 511

“photo wake up”第四周个人工作总结

2019/04/04 上周我们已经把模型跑起来了,得到了一些参数 这些参数初步分析分别是 Cam_t :三维相机参数 Pose:代表人体整体运动位姿和24个关节相对角度的75个参数 beta:shape个人体高矮胖瘦、头身比等比例的10个参数 f:焦点,二维数据 进一步的阅读论文和查询相关资料我们知道 (相关论文:SMPL: A Skinned Multi-Person Linear Mode...

weixin_41841857的博客 459

Stanford Dogs 犬类识别实战:基于 YOLOv8 的 120 类目标检测与图形界面实现

本项目通过YOLOv8实现了Stanford Dogs数据集的目标检测功能,完整包含了数据准备、模型训练、检测推理、图形界面四大模块。初学者使用YOLOv8n(nano版)加速训练,熟悉流程后可切换到YOLOv8s/m。图像上传与检测可进一步增强,例如显示识别框、标注标签。可以添加模型选择、检测阈值调整等功能,提升实用性。通过网盘分享的文件:基于yolov8的狗类品种识别系统链接: https://pan.baidu.com/s/1UYV4h2WnK1RxWWKoPrS-RA?

FJN110的博客 88

上位机图像处理和嵌入式模块部署(qmacvisual获取边界点)

【声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 在图像处理中,解决了分割的问题之后,下面就是属性信息的提取。在这其中,有一种属性是非常重要的 ,那就是外界轮廓的边界点获取。这个边界点,可以用来计算长度,也可以用来进行直线、圆的拟合,具体的用途取决于现场的实际使用场景。目前qmacvisual支持对边界点的提取,相关控件可以直接用来提取边界点。

嵌入式-老费,一个分享专业嵌入式知识的blog 885

"photo wake up"第五周个人工作总结

2019/04/10 上周我们研究出smpl模型的参数关系,知道pose和shape能直接得到一个完整的人体模型 这周我们从算法出发,跑出一个库里的smpl模型图,并得到其法线贴图,深度贴图,和蒙皮权重图 结果: 原图 smpl模型图 normal map 深度图 过程分析 法线贴图概念 为了计算光照, 我们需要使用网格的"法线". 一个表面法线是一个垂直于切线平面的向量. 简单来说, ...

weixin_41841857的博客 531

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

“photo wake up”第八周个人总结

这周队友在研究根据深度图做三维模型重建的工作,我决定从动画方面入手,做从obj模型生成动画方面的内容。 maya生成骨骼动画 obj文件是3D模型文件格式。由Alias|Wavefront公司为3D建模和动画软件"Advanced Visualizer"开发的一种标准,适合用于3D软件模型之间的互导,也可以通过Maya读写。 maya中导入了smpl的人体模型后,要使这个人动起来,要附上骨骼节点 ...

weixin_41841857的博客 946

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

“photo wake up"第六周个人总结

2019/4/17 上周我们得出smpl模型的法线图,深度图后,我们就要进行对smpl的轮廓和原图轮廓进行匹配了 1.得到smpl的黑白轮廓图mask 和原图的黑白轮廓图mask 使用抠图算法和opencv库的图像分割 2.求出原图mask与smpl.mask的对应关系 对应关系的含义:原图中每一个像素点寻找其对应在smpl像素点中的一个f(x) 3.求解f(x) 参考论文: M. S. F...

weixin_41841857的博客 633

“photo wake-up”创新项目实训第一周总结

2019年3月23日 这周从已有的二维图像姿态预测的算法出发,参考论文Convolutional pose machines的算法进行二维姿态预测,得出人体14个关节点的位置。 (S.-E. Wei, V. Ramakrishna, T. Kanade, and Y. Sheikh. Convolutional pose machines. In Proceedings of the IEEE C...

qq_38501611的博客 775

“photo wake-up”创新项目实训开题总结

项目名称:“photo wake-up”基于二维图像的三维人体模型重建 项目开始时间:2019年3月16日 项目团队名称:Photo magician 团队成员:和树钰 马晓颖 乔艺萌 丁昊 项目背景: 《哈利波特》世界里有一种神奇的魔法报纸,报中照片上的人物可以动起来,看起来有点像 GIF 图。在故事里这当然是「魔法」的功劳,现实世界中还没有造出这样的报纸。我们想通过现有对图像的研究,使用...

qq_38501611的博客 636

“photo wake up”第七周个人总结

这周我们要对得到的smpl法线图,蒙皮图进行warp 对于我们上周得到的f(x) 具体详看https://blog.youkuaiyun.com/weixin_41841857/article/details/90574160 我们进行要给这样的变化 对法线贴图N(x) 对深度贴图有两种变化方法 ①直接通过warp得到 结果: 但是文章说这种方法会使重建出来的人体更扁平 ②结合法线值做integrat...

weixin_41841857的博客 441

AI论文探讨室·A+·第16期-PhotoWake-Up: 3D Character Animation from a Single Photo

论文主页

CSS360的博客 459

東京タワー初めてphoto

高中同桌的漫画书上看到的东京塔周五那天终于呈现在眼前 可惜距离很远 像素很低 转载于:https://www.cnblogs.com/loverain/archive/2007/11/13/957504.html

weixin_30865427的博客 134

PhotoWakeUp —— 创新实训(4)

论文再读 ⑤ 正面的身体自遮挡部位区域填充 使用PatchMatch [4]方法 处理背部纹理是一个开放的研究问题[27,10,28]。文中给了两种方法: 1、将正面文理镜像贴到背面 2、使用可选的用户指南进行绘制。 前后纹理用泊松混合缝合[32] ⑥ 运动序列来自论文9 他们有个ui界面,可以提供纹理填充方式选择和姿态调整等功能 又与论文15提到的方法进行了对比 又与[6,1]...

TingHW的博客 816
上一篇: “photo wake-up”创新项目实训第二周总结
下一篇: “photo wake up”第四周个人工作总结
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值