“photo wake-up”创新项目实训第一周开题总结

PhotoWakeUp —— 创新实训(8) github地址https://github.com/HWenTing/Photo-Wake-Up 鉴于边界点等效果较差,采取两种措施 (1)使用bfs思想平滑图片。通过常识我们知道,相邻像素之间的深度值不会差别很大。从这种想法出发,选取基本点,然后用bfs方法减少相邻的像素之间的深度值差。主要代码如下 import queue # 从中心点开始,bfs向外扩展,将变化大的... 阅读详情

项目名称:“photo wake-up”基于二维图像的三维人体模型重建

项目开始时间:2019年3月16日

项目背景:
《哈利波特》世界里有一种神奇的魔法报纸,报中照片上的人物可以动起来,看起来有点像 GIF 图。在故事里这当然是「魔法」的功劳,现实世界中还没有造出这样的报纸。我们想通过现有对图像的研究,使用AI算法,实现这个过程。华盛顿大学的几个科学家已经研究出来这样的算法,他们提出了一种使单一图片中的人物动起来的方法,图中的人物在三维场景下可以行走,奔跑,坐下或跳跃。
官方表示成果:https://grail.cs.washington.edu/projects/wakeup/
但是网站始终没有表示要公开代码,网民也表示出对成果真实性的质疑,这是一个十分有创意的事情,我们希望能把他们的算法实现出来,希望能应用于AR领域。

主要内容
给定一张图片,进行图像分割和人物姿态预测,提取画中人的2D骨骼关键点。将一个通用的SMPL人体模型(带骨骼与蒙皮的)fit到输入图像,将SMPL的2D轮廓Warp到估计出的人体2D轮廓,将此Warp应用到法向图、深度图、蒙皮权重图.根据得到的这些图,重构出网格(带骨骼与蒙皮信息),再将现有的运动捕捉数据,应用于重建之后的模型上,产生动画。

技术路线
我们整个工作首先需要学习TensorFlow框架以及opencv库的使用,并且成功运行第一部分的代码,得到人体二维关节点预测图以及SMPL模型,之后在进行第二三部分的算法研究,最后将运动捕捉数据应用到重建的模型中。

预期成果
以二维图像为输入,能重建图像中的三维人体模型动画,使图像上的人物动起来。

公众号:计算机视觉与图形学实战

 

“photo wake-up”创新项目实训第二周总结 2019年3月29号 设定今周工作目标 上周我们已经可以从输出的一个二维图片输出人体的14个关节点,下一步就是研究Convolutional pose machines的输出是什么,怎么把这些输出设配到一个三维模型中。 首先我们开始研究2016年的一篇论文 keep it SMPL (F. Bogo, A. Kanazawa, C. Lassner, P. Gehler, J. Romero, a... 阅读详情

相关推荐

光电振荡器(OEO):从原理到应用,解锁高频微波信号新纪元

本文深入解析了光电振荡器(OEO)的核心原理与前沿应用。OEO通过巧妙的光-电-光转换机制,利用光学谐振腔产生高频、高纯度、低相位噪声的微波信号,有效突破了传统电子电路的频率瓶颈。文章详细拆解了其工作流程,并探讨了在雷达系统、高速光通信及精密测量等领域的硬核应用价值。

weixin_29231027的博客 369

“photo wake-up”第三周个人工作总结

2019年3月29号 /马晓颖 上周我们已经可以从输出的一个二维图片输出人体的14个关节点,下一步就是研究Convolutional pose machines的输出是什么,怎么把这些输出设配到一个三维模型中。 首先我们开始研究2016年的一篇论文 keep it SMPL (F. Bogo, A. Kanazawa, C. Lassner, P. Gehler, J. Romero, andM....

weixin_41841857的博客 819

Marvell 88E6390x交换芯片:从零构建No-CPU模式网络交换系统

本文详细介绍了如何为Marvell 88E6390x以太网交换芯片构建No-CPU模式网络交换系统。通过解析其核心价值与硬件准备,并手把手指导使用CodeBlocks、IMPGUI和SwitchGUI等软件工具进行配置代码编写、镜像生成与烧录,最终实现交换芯片脱离外部CPU独立工作,适用于成本敏感、空间受限的嵌入式网络设备设计。

plant的博客 490

照片唤醒-photowakeup

记录下暑假的结果

qq_43218657的博客 801

模糊控制——基本原理(附MATLAB程序)

模糊化:使用隶属函数将实际输入转换为模糊集合的隶属度值。规则库:利用“如果-那么”规则将模糊输入映射到模糊输出。推理机制:通过规则的模糊化和模糊集合的合成,生成模糊输出。去模糊化:将模糊输出转换为具体的控制信号,常用的方法包括质心法和最大隶属度法。这些步骤综合起来,实现了模糊控制系统对复杂和不确定系统的有效控制。模糊控制系统通过结合模糊逻辑和规则库来处理复杂系统中的不确定性和模糊性。它的核心在于模糊集合和隶属函数,通过推理机处理模糊规则,并最终通过去模糊化生成具体的控制信号。

qq_35623594的博客 5561

CUDA详细安装及环境配置——环境配置指南 – CUDA+cuDNN+PyTorch 安装

本文详细介绍了如何确定显卡支持的CUDA版本、选择对应的cuDNN版本,并逐步安装CUDA、cuDNN和PyTorch。首先,通过命令行输入nvidia-smi.exe查看显卡支持的CUDA版本。接着,根据CUDA版本选择对应的cuDNN版本并下载。然后,从NVIDIA官方网站下载CUDA安装包,按照提示进行安装,并检查是否安装成功。同样地,下载cuDNN安装包,解压后将文件拷贝到CUDA安装目录中,并通过命令行验证安装是否成功。最后,根据PyTorch官网的指引,选择合适的安装命令进行PyTorch的安装

2501_90350274的博客 5099

三维人体重建

三维人体重建多张照片三维重建单张照片三维重建单段式两端式 多张照片三维重建 从照片的三维重建(3D Reconstruction)——MVS系列 单张照片三维重建 人像分割、人体姿势估计(关节点)、肢体分割-肢体运动、蒙皮生成 纹理(皮肤、衣服)贴图、运动控制(骨骼点的旋转向量)、表情变化(BlendShape) SMPL模型 https://www.jianshu.com/p/6305f1da8...

qq_34296627的博客 1万+

YOLO11多类别数据集的类别平衡方法:讲解类别不平衡问题的识别方法,以及过采样、欠采样、类别权重调整等解决方案(一)

类别不平衡问题是机器学习和计算机视觉领域中一个常见但棘手的挑战。简单来说,当数据集中不同类别的样本数量存在显著差异时,我们就称这个数据集存在类别不平衡问题。在YOLO目标检测任务中,这意味着某些类别的目标对象在训练数据中出现得非常频繁,而其他类别的目标对象则很少出现。 想象一下,你正在训练一个交通监控系统,需要检测不同类型的车辆。在这个场景中,"汽车"这个类别可能有成千上万个实例,而"自行车"或"摩托车"可能只有几百个实例。这种数量上的巨大差异就是典型的类别不平衡问题。 从数学角度来看,假设我们有一个包

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 942

“photo wake-up”创新项目实训第一周总结

2019年3月23日 这周从已有的二维图像姿态预测的算法出发,参考论文Convolutional pose machines的算法进行二维姿态预测,得出人体14个关节点的位置。 (S.-E. Wei, V. Ramakrishna, T. Kanade, and Y. Sheikh. Convolutional pose machines. In Proceedings of the IEEE C...

qq_38501611的博客 775

用 SAP Fiori Launchpad Content Manager 做目录传输:把 Catalog 变更稳稳送到目标系统

摘要:SAP Fiori项目中,目录传输是确保应用一致交付的关键环节。开发团队常遇到目录在不同系统/客户端间不一致的问题,核心在于理解Launchpad内容管理的两种作用域:系统级(/UI2/FLPCM_CONF)使用workbench请求跨系统传输,客户端级(/UI2/FLPCM_CUST)通过customizing请求按SCC4设置传输。混淆作用域会导致目录分叉,如系统级目录被客户端本地修改后形成独立副本。官方推荐使用Content Manager而非过时的Launchpad Designer,并强调手

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 108

基于Transformer的相似度匹配在AI原生应用中的实现

在AI原生应用(完全基于AI能力构建的应用,如ChatGPT、Notion AI)中,“理解文本之间的相似性”是核心需求:智能搜索需要找到与用户查询最匹配的文档,推荐系统需要挖掘用户兴趣与内容的关联,对话机器人需要识别用户问题的意图是否重复……本文将聚焦“基于Transformer的相似度匹配”,覆盖技术原理、代码实现、应用场景三大模块,帮助开发者掌握从理论到落地的完整链路。本文将按照“生活场景→核心概念→技术原理→代码实战→应用案例→未来趋势”的逻辑展开。

AI 原生应用开发的博客 984

“photo wake-up”创新项目实训开题总结

项目名称:“photo wake-up”基于二维图像的三维人体模型重建 项目开始时间:2019年3月16日 项目团队名称:Photo magician 团队成员:和树钰 马晓颖 乔艺萌 丁昊 项目背景: 《哈利波特》世界里有一种神奇的魔法报纸,报中照片上的人物可以动起来,看起来有点像 GIF 图。在故事里这当然是「魔法」的功劳,现实世界中还没有造出这样的报纸。我们想通过现有对图像的研究,使用...

qq_38501611的博客 636

DBC中如何实现报文传输类型属性的配置

AUTOSAR中CAN报文的传输类型主要有三种,周期型,事件型和混合型。周期型:按固定时间间隔自动发送,无需额外的触发条件。事件型:当信号值变化或满足内部条件时立即发送。混合型:默认按周期发送,但事件触发时可提前发送。

sunchengl的博客 307

“photo wake up”第四周个人工作总结

2019/04/04 上周我们已经把模型跑起来了,得到了一些参数 这些参数初步分析分别是 Cam_t :三维相机参数 Pose:代表人体整体运动位姿和24个关节相对角度的75个参数 beta:shape个人体高矮胖瘦、头身比等比例的10个参数 f:焦点,二维数据 进一步的阅读论文和查询相关资料我们知道 (相关论文:SMPL: A Skinned Multi-Person Linear Mode...

weixin_41841857的博客 459

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

“photo wake up”第八周个人总结

这周队友在研究根据深度图做三维模型重建的工作,我决定从动画方面入手,做从obj模型生成动画方面的内容。 maya生成骨骼动画 obj文件是3D模型文件格式。由Alias|Wavefront公司为3D建模和动画软件"Advanced Visualizer"开发的一种标准,适合用于3D软件模型之间的互导,也可以通过Maya读写。 maya中导入了smpl的人体模型后,要使这个人动起来,要附上骨骼节点 ...

weixin_41841857的博客 946

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

"photo wake up"第五周个人工作总结

2019/04/10 上周我们研究出smpl模型的参数关系,知道pose和shape能直接得到一个完整的人体模型 这周我们从算法出发,跑出一个库里的smpl模型图,并得到其法线贴图,深度贴图,和蒙皮权重图 结果: 原图 smpl模型图 normal map 深度图 过程分析 法线贴图概念 为了计算光照, 我们需要使用网格的"法线". 一个表面法线是一个垂直于切线平面的向量. 简单来说, ...

weixin_41841857的博客 531

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

“photo wake up"第六周个人总结

2019/4/17 上周我们得出smpl模型的法线图,深度图后,我们就要进行对smpl的轮廓和原图轮廓进行匹配了 1.得到smpl的黑白轮廓图mask 和原图的黑白轮廓图mask 使用抠图算法和opencv库的图像分割 2.求出原图mask与smpl.mask的对应关系 对应关系的含义:原图中每一个像素点寻找其对应在smpl像素点中的一个f(x) 3.求解f(x) 参考论文: M. S. F...

weixin_41841857的博客 633

“photo wake up”第七周个人总结

这周我们要对得到的smpl法线图,蒙皮图进行warp 对于我们上周得到的f(x) 具体详看https://blog.youkuaiyun.com/weixin_41841857/article/details/90574160 我们进行要给这样的变化 对法线贴图N(x) 对深度贴图有两种变化方法 ①直接通过warp得到 结果: 但是文章说这种方法会使重建出来的人体更扁平 ②结合法线值做integrat...

weixin_41841857的博客 441

PhotoWakeUp —— 创新实训(6)

这周的任务是求出整个mask对应的深度图Z(x) 即下图的(4) 得到深度图后,下一步就可以反向构建三维立体模型 阅读了Photometric Stereo with General, Unknown Lighting论文 因为我们之前已经求出normal map 文中论述了怎样由normal map(即每个点的法线向量)递推得到每个点的z(x,y)值 遇到的问题...

TingHW的博客 700

PhotoWakeUp —— 创新实训(4)

论文再读 ⑤ 正面的身体自遮挡部位区域填充 使用PatchMatch [4]方法 处理背部纹理是一个开放的研究问题[27,10,28]。文中给了两种方法: 1、将正面文理镜像贴到背面 2、使用可选的用户指南进行绘制。 前后纹理用泊松混合缝合[32] ⑥ 运动序列来自论文9 他们有个ui界面,可以提供纹理填充方式选择和姿态调整等功能 又与论文15提到的方法进行了对比 又与[6,1]...

TingHW的博客 816

PhotoWakeUp —— 创新实训(2)

(由于时间原因,先给出了大致的总结提纲,具体内容明后天补上qnq) 这周的主要工作是将人体从背景中分割出来。 论文中提到了Mask R-CNN 和Dense CRF方法,似乎不理想 趁着这几个机会学习了instance segmentation,Semantic Segmentation的区别。找到一张十分合适的图 https://blog.youkuaiyun.com/Scythe66...

TingHW的博客 1202
上一篇: ceres快速教材及学习笔记(四)bundl adjustment,《视觉slam十四讲》第十讲ceres例子
下一篇: “photo wake-up”创新项目实训第二周总结
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值