TingHW的博客

PhotoWakeUp —— 创新实训（1）目录PhotoWakeUp —— 创新实训（1）具体工作：遇到的问题：cpm模型：spml模型：环境的安装：源码阅读与修改在本次创新实训的第一周时间里，在研读论文的基础上，主要完成了输入图片，通过cpm模型得到人体十四个主要节点的信息，处理后作为输入传递到spml模型中，并最终训练生成人物的3d模型。具体工作...

（由于时间原因，先给出了大致的总结提纲，具体内容明后天补上qnq）这周的主要工作是将人体从背景中分割出来。论文中提到了Mask R-CNN 和Dense CRF方法，似乎不理想趁着这几个机会学习了instance segmentation，Semantic Segmentation的区别。找到一张十分合适的图https://blog.youkuaiyun.com/Scythe66...

再次了思路通过照片得到关节点位置（cpm）通过关节点位置得到三维模型(smpl)将得到的三维模型进行投影，得到相应的法线贴图、蒙皮贴图、深度图抠图（ps，以及其他的一些算法）得到φ（i）（抠图的得到的原图的边界点与smpl向前投影得到的边界点的对应关系）得到f（x） （似乎是坐标的形式）Z_?S(x ∈ ?S) = Z_SMPL(f(x)) 原图mask边缘的深度图N(x) =...

论文再读⑤正面的身体自遮挡部位区域填充 使用PatchMatch [4]方法处理背部纹理是一个开放的研究问题[27,10,28]。文中给了两种方法：1、将正面文理镜像贴到背面2、使用可选的用户指南进行绘制。前后纹理用泊松混合缝合[32]⑥运动序列来自论文9他们有个ui界面，可以提供纹理填充方式选择和姿态调整等功能又与论文15提到的方法进行了对比又与[6,1]...

这周的目标是求出mask内所有点对应smpl中点的坐标。通过这个对应关系，可求出论文中对应的（2），（3），（5）读了MF的Mean value coordinates主要使用如下公式主要代码如下result=[]for pos,j in enumerate(list_in_contours): tan=[] for i in ran...

这周的任务是求出整个mask对应的深度图Z（x） 即下图的（4）得到深度图后，下一步就可以反向构建三维立体模型阅读了Photometric Stereo with General, Unknown Lighting论文因为我们之前已经求出normal map文中论述了怎样由normal map（即每个点的法线向量）递推得到每个点的z(x，y)值遇到的问题...

求出的正反面的深度图如下发现约有5%的点对应深度图不准确https://www.jianshu.com/p/1aac118197ff（obj文件的格式）接下来从深度图重新构建三维模型，深度值从之前得到的深度图直接读取，构建三维mesh时，将相邻的四个点相连，构造成两个三角形，点的顺序逆时针，主要代码如下with open(r'b.obj','w+') as file:...

github地址https://github.com/HWenTing/Photo-Wake-Up鉴于边界点等效果较差，采取两种措施（1）使用bfs思想平滑图片。通过常识我们知道，相邻像素之间的深度值不会差别很大。从这种想法出发，选取基本点，然后用bfs方法减少相邻的像素之间的深度值差。主要代码如下import queue# 从中心点开始，bfs向外扩展，将变化大的...