“photo wake-up”创新项目实训第一周开题总结

PhotoWakeUp —— 创新实训(8) github地址https://github.com/HWenTing/Photo-Wake-Up 鉴于边界点等效果较差,采取两种措施 (1)使用bfs思想平滑图片。通过常识我们知道,相邻像素之间的深度值不会差别很大。从这种想法出发,选取基本点,然后用bfs方法减少相邻的像素之间的深度值差。主要代码如下 import queue # 从中心点开始,bfs向外扩展,将变化大的... 阅读详情

项目名称:“photo wake-up”基于二维图像的三维人体模型重建

项目开始时间:2019年3月16日

项目背景:
《哈利波特》世界里有一种神奇的魔法报纸,报中照片上的人物可以动起来,看起来有点像 GIF 图。在故事里这当然是「魔法」的功劳,现实世界中还没有造出这样的报纸。我们想通过现有对图像的研究,使用AI算法,实现这个过程。华盛顿大学的几个科学家已经研究出来这样的算法,他们提出了一种使单一图片中的人物动起来的方法,图中的人物在三维场景下可以行走,奔跑,坐下或跳跃。
官方表示成果:https://grail.cs.washington.edu/projects/wakeup/
但是网站始终没有表示要公开代码,网民也表示出对成果真实性的质疑,这是一个十分有创意的事情,我们希望能把他们的算法实现出来,希望能应用于AR领域。

主要内容
给定一张图片,进行图像分割和人物姿态预测,提取画中人的2D骨骼关键点。将一个通用的SMPL人体模型(带骨骼与蒙皮的)fit到输入图像,将SMPL的2D轮廓Warp到估计出的人体2D轮廓,将此Warp应用到法向图、深度图、蒙皮权重图.根据得到的这些图,重构出网格(带骨骼与蒙皮信息),再将现有的运动捕捉数据,应用于重建之后的模型上,产生动画。

技术路线
我们整个工作首先需要学习TensorFlow框架以及opencv库的使用,并且成功运行第一部分的代码,得到人体二维关节点预测图以及SMPL模型,之后在进行第二三部分的算法研究,最后将运动捕捉数据应用到重建的模型中。

预期成果
以二维图像为输入,能重建图像中的三维人体模型动画,使图像上的人物动起来。

公众号:计算机视觉与图形学实战

 

“photo wake-up”创新项目实训第二周总结 2019年3月29号 设定今周工作目标 上周我们已经可以从输出的一个二维图片输出人体的14个关节点,下一步就是研究Convolutional pose machines的输出是什么,怎么把这些输出设配到一个三维模型中。 首先我们开始研究2016年的一篇论文 keep it SMPL (F. Bogo, A. Kanazawa, C. Lassner, P. Gehler, J. Romero, a... 阅读详情

相关推荐

基于FastLIO2与TEB算法的机器狗自主导航系统实战

本文详细介绍了如何为机器狗构建一套基于FastLIO2与TEB算法的自主导航系统。通过整合FastLIO2激光惯性里程计实现精准定位,并采用TEB局部规划器进行灵活路径规划与动态避障,解决了传统方案在复杂地形下反应慢、易碰撞的问题。文章提供了从环境搭建、算法部署、地图转换到系统调试的完整实战指南,帮助开发者实现机器狗的稳健自主行走。

beer8的博客 326

“photo wake-up”第三周个人工作总结

2019年3月29号 /马晓颖 上周我们已经可以从输出的一个二维图片输出人体的14个关节点,下一步就是研究Convolutional pose machines的输出是什么,怎么把这些输出设配到一个三维模型中。 首先我们开始研究2016年的一篇论文 keep it SMPL (F. Bogo, A. Kanazawa, C. Lassner, P. Gehler, J. Romero, andM....

weixin_41841857的博客 819

支付宝H5支付唤醒协议全解析:从alipays://到动态orderSuffix的抓取与拼接

本文深入解析支付宝H5支付唤醒协议,从alipays://协议设计到动态orderSuffix参数的抓取与拼接,详细介绍了支付宝H5支付的底层机制。内容包括协议架构剖析、动态令牌生成与捕获、浏览器兼容性解决方案以及安全机制设计,为开发者提供全面的技术指南和实践建议。

weixin_27972919的博客 3544

照片唤醒-photowakeup

记录下暑假的结果

qq_43218657的博客 801

YOLOv8中的C2f模块代码详解

在YOLOv8网络结构中,C2f模块(CSP Bottleneck with 2 Convolutions)是一个关键组件,用于实现跨阶段部分聚合

zzzyyy8的博客 3万+

Win11/Win10系统下,Proe5.0 M280终极版保姆级安装与激活指南(含SSQ补丁避坑)

本文提供Win11/Win10系统下Pro/E 5.0 M280终极版的详细安装与激活指南,涵盖环境配置、SSQ补丁应用及常见问题解决方案。通过系统调整、分步安装和性能优化,确保软件在现代操作系统上的稳定运行,特别适合机械设计用户参考。

weixin_30895059的博客 454

三维人体重建

三维人体重建多张照片三维重建单张照片三维重建单段式两端式 多张照片三维重建 从照片的三维重建(3D Reconstruction)——MVS系列 单张照片三维重建 人像分割、人体姿势估计(关节点)、肢体分割-肢体运动、蒙皮生成 纹理(皮肤、衣服)贴图、运动控制(骨骼点的旋转向量)、表情变化(BlendShape) SMPL模型 https://www.jianshu.com/p/6305f1da8...

qq_34296627的博客 1万+

QML 地图修改插件源码(三),Map在Plugin中设置加载地图类型

常用的地图种类分为交通图,地形图,卫星图等等,在QML的Map(以OSM地图为例)中提供activeMapType属性用于读取当前显示的地图类型(注意:该属性为只读属性,不能用于赋值),QML中地图的加载寻找根据瓦片的文件名进行查找,例如名为"osm_100-l-5-2-2-3.png"的瓦片,其中5代表了该地图的类型

zjgo007的专栏 3166

“photo wake-up”创新项目实训第一周总结

2019年3月23日 这周从已有的二维图像姿态预测的算法出发,参考论文Convolutional pose machines的算法进行二维姿态预测,得出人体14个关节点的位置。 (S.-E. Wei, V. Ramakrishna, T. Kanade, and Y. Sheikh. Convolutional pose machines. In Proceedings of the IEEE C...

qq_38501611的博客 775

单相PWM整流器四象限运行原理

简述单相PWM整流器四象限运行原理。

m0_75208156的博客 8309

TRAE智能体开发:TRAE概述

TRAE(/treɪ/)深度融合 AI 能力,是一名能够理解需求、调用工具并独立完成各类开发任务的“AI 开发工程师”,帮助你高效推进每一个项目。

王国平的博客 1289

“photo wake-up”创新项目实训开题总结

项目名称:“photo wake-up”基于二维图像的三维人体模型重建 项目开始时间:2019年3月16日 项目团队名称:Photo magician 团队成员:和树钰 马晓颖 乔艺萌 丁昊 项目背景: 《哈利波特》世界里有一种神奇的魔法报纸,报中照片上的人物可以动起来,看起来有点像 GIF 图。在故事里这当然是「魔法」的功劳,现实世界中还没有造出这样的报纸。我们想通过现有对图像的研究,使用...

qq_38501611的博客 636

PGM-Explainer实验总结

PGM-Explainer建立了一个概率图模型,为GNN提供实例级解释。 论文标题:PGM-Explainer: Probabilistic Graphical Model Explanations for Graph Neural Networks 论文地址:2010.05788.pdf (arxiv.org) PGM-Explainer实验 实验目的 研究PGM-Explainer的有效性 实验方案 合成数据集的节点分类 与其他解释器做对比实验 使用六个合成数据集。 每个输入图都是一个

笔记|思路|总结 1万+

“photo wake up”第四周个人工作总结

2019/04/04 上周我们已经把模型跑起来了,得到了一些参数 这些参数初步分析分别是 Cam_t :三维相机参数 Pose:代表人体整体运动位姿和24个关节相对角度的75个参数 beta:shape个人体高矮胖瘦、头身比等比例的10个参数 f:焦点,二维数据 进一步的阅读论文和查询相关资料我们知道 (相关论文:SMPL: A Skinned Multi-Person Linear Mode...

weixin_41841857的博客 459

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

“photo wake up”第八周个人总结

这周队友在研究根据深度图做三维模型重建的工作,我决定从动画方面入手,做从obj模型生成动画方面的内容。 maya生成骨骼动画 obj文件是3D模型文件格式。由Alias|Wavefront公司为3D建模和动画软件"Advanced Visualizer"开发的一种标准,适合用于3D软件模型之间的互导,也可以通过Maya读写。 maya中导入了smpl的人体模型后,要使这个人动起来,要附上骨骼节点 ...

weixin_41841857的博客 946

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

"photo wake up"第五周个人工作总结

2019/04/10 上周我们研究出smpl模型的参数关系,知道pose和shape能直接得到一个完整的人体模型 这周我们从算法出发,跑出一个库里的smpl模型图,并得到其法线贴图,深度贴图,和蒙皮权重图 结果: 原图 smpl模型图 normal map 深度图 过程分析 法线贴图概念 为了计算光照, 我们需要使用网格的"法线". 一个表面法线是一个垂直于切线平面的向量. 简单来说, ...

weixin_41841857的博客 531

“photo wake up"第六周个人总结

2019/4/17 上周我们得出smpl模型的法线图,深度图后,我们就要进行对smpl的轮廓和原图轮廓进行匹配了 1.得到smpl的黑白轮廓图mask 和原图的黑白轮廓图mask 使用抠图算法和opencv库的图像分割 2.求出原图mask与smpl.mask的对应关系 对应关系的含义:原图中每一个像素点寻找其对应在smpl像素点中的一个f(x) 3.求解f(x) 参考论文: M. S. F...

weixin_41841857的博客 633

“photo wake up”第七周个人总结

这周我们要对得到的smpl法线图,蒙皮图进行warp 对于我们上周得到的f(x) 具体详看https://blog.youkuaiyun.com/weixin_41841857/article/details/90574160 我们进行要给这样的变化 对法线贴图N(x) 对深度贴图有两种变化方法 ①直接通过warp得到 结果: 但是文章说这种方法会使重建出来的人体更扁平 ②结合法线值做integrat...

weixin_41841857的博客 441

PhotoWakeUp —— 创新实训(6)

这周的任务是求出整个mask对应的深度图Z(x) 即下图的(4) 得到深度图后,下一步就可以反向构建三维立体模型 阅读了Photometric Stereo with General, Unknown Lighting论文 因为我们之前已经求出normal map 文中论述了怎样由normal map(即每个点的法线向量)递推得到每个点的z(x,y)值 遇到的问题...

TingHW的博客 700

PhotoWakeUp —— 创新实训(4)

论文再读 ⑤ 正面的身体自遮挡部位区域填充 使用PatchMatch [4]方法 处理背部纹理是一个开放的研究问题[27,10,28]。文中给了两种方法: 1、将正面文理镜像贴到背面 2、使用可选的用户指南进行绘制。 前后纹理用泊松混合缝合[32] ⑥ 运动序列来自论文9 他们有个ui界面,可以提供纹理填充方式选择和姿态调整等功能 又与论文15提到的方法进行了对比 又与[6,1]...

TingHW的博客 816

PhotoWakeUp —— 创新实训(2)

(由于时间原因,先给出了大致的总结提纲,具体内容明后天补上qnq) 这周的主要工作是将人体从背景中分割出来。 论文中提到了Mask R-CNN 和Dense CRF方法,似乎不理想 趁着这几个机会学习了instance segmentation,Semantic Segmentation的区别。找到一张十分合适的图 https://blog.youkuaiyun.com/Scythe66...

TingHW的博客 1202
上一篇: ceres快速教材及学习笔记(四)bundl adjustment,《视觉slam十四讲》第十讲ceres例子
下一篇: “photo wake-up”创新项目实训第二周总结
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值