CAD答辩周 -- 与自己相关的几场

本文概述了研究生阶段在三维重建与图像处理领域的研究进展,详细介绍了包括高效鲁棒的多视图三维重建算法、基于立体视觉的高精度三维人脸重建以及图像和视频序列的颜色校正研究等内容。通过分析不同研究方法和技术应用,揭示了三维重建过程的关键步骤,如深度恢复、融合和表面网格提取,并探讨了如何通过改进求解深度和融合过程来提高重建精度。同时,阐述了双目视觉在高精度人脸重建中的应用及与单一相机环境的对比,以及颜色校正背后的原理和实际应用场景。本文旨在为读者提供一个全面的视角,了解当前研究热点和未来发展方向。

这一周师兄师姐都在答辩,挑了几场和自己相关的去听了一下。

1. 题目:一种高效鲁棒的多视图三维重建算法 王开盛(wangkaisheng@zjucadcg.cn)

      这个师兄做的事情是通过lightStage的一圈相机,对静态的人在同一时刻拍下一组照片,根据这组照片三维重建出人体模型,卖点是高效和鲁棒。用到的方法是一些比较主流的方法,并在一些细节的地方做了自己的改进。整个流程是:

  • 深度恢复

          求解包围盒,每个相机位置已知,那么这一圈相机的中心位置好求的。然后以相机之间的最远距离*10作为包围盒的边长,得到一个初略的空间范围,物体必然处于这个范围中,体素化这个物体空间。然后在这个粗糙的空间中,把每个体素从三维投影到二维的图像平面,当该体素出现在某个图像平面的时候,就认为属于物体空间。这样就得到一个相对比较精细的物体包围盒。

          每帧基准图像选取一些物理相邻帧作为参考图像,要对基准图像恢复出一幅深度图。对基准图像的每个像素,从对应的相机的光心出发,经过这个像素得到一条射线,这个射线与包围盒求交,得到一个线段。然后在这个线段上采样,得到一些三维点。对这个线段上的每个采样点投影到参考图像上,算两幅图像上的一个NCC值,采用best-winner的策略得到像素的三维点的位置,从而恢复出深度。

  • 深度融合:图分割算法。
  • 曲面生成:Marching Cube提取表面网格,然后绘制

         我对三维重建的理解也现在仅限于深度恢复这里,后续的融合和表面网格提取也没有深入到具体的步骤。对这个工作的理解比较全的就是第一步的工作,在整个三维重建的过程中,深度恢复这一步的也是最关键的。毕竟得到深度我们离得到三维位置就只有简单的一步之遥了。要提高整个重建算法的精度也是在于这里,这个师兄想了一些方法来求精这个恢复的深度,目前也有很多文章是这方面的。然后,我通过这个答辩得到的一些信息,加上下来看了他的论文:在求解NCC的时候,在采样位置用了小平面(patch)来逼近物体表面(这里不懂?为什么要用小平面就会比较正确?)。深度融合的时候,有采用“投票”的方法,这里也没有很明白,大致理解就是,每个体素构建网络流结构,然后利用先前计算出来的NCC值作为权重,这个权重就是该体素的一个投票结果,告诉程序我这个体素在物体外面还是物体外面,但是网络流构建过程,权值的分配这些细节还不懂。

        那么接下去,我们得到了每个体素的投票结果,属于物体内部就相当于1,不属于这个物体就相当于0,提取物体表面网格,就是分割这个体素空间中的0和1,就是Marching cube算法。这种方法和poisson的区别?

2. 题目:基于立体视觉的高精度三维人脸重建 梁伯均

       这个师兄的工作其实和我的工作更相关,用到就是双目立体视觉,整个工作是follow 2010 Beeler的那篇。前面都好理解的,但是后面提到了种子点等概念,当然种子点很有可能是在实现时候的一些策略,但是我并不清楚这些概念整个的一个应用,好好看论文了再来补全。

       为什么在这里用到了双目的方法? 这是因为双目视觉利用的是,两幅图像的颜色信息进行一个匹配,那么要求两幅图像的纹理信息够丰富,而对于上一篇文章的实验环境,这是不现实的,相机摆放的位置比较远,无法有详细的纹理信息。

       那么Beeler那篇的微观加强可不可以用在上一步的建模过程上?

3. 题目:图像和视频序列的颜色校正研究 胡晓龙

       颜色校正就是希望两张图片上同一个景物点具有相同的颜色信息。整个答辩听下来,我觉得可能颜色出现不一样的实际原因在于不同的拍摄环境,反应在真实图片中,是由于相机的曝光时间和白平衡。

      先看相机模型,相机是通过曝光收集实际的颜色信息,然后在感光元件上得到能量X,然后通过相机响应函数 f(brightness transfer function?)得到图像中的颜色信息B。然后这个函数f是有关于实际点信息和曝光时间,所以我们就是求解这个相机响应函数。来对颜色校正做指导。每一台相机有一个不同的相机响应函数。

      这几个答辩都好听的,尤其是第一个,感觉大概打通了对主流方法的理解。然后后续工作就是实现,这样也能够把那个库做出来。后续的自己的研究工作就可以展开了。

      然后写一下自己的感想,答辩除了答辩者自己的讲解,还有很大一部分是老师们的提问,往往老师会挑对基本概念的理解,这个工作的意义,解决了哪些问题,和当前其他方法的对比来提问,这些也是平时研究要注意的点了。

   

 

转载于:https://www.cnblogs.com/summerRQ/articles/2388265.html

(1)普通用户端(全平台) 音乐播放核心体验: 个性化首页:基于 “听歌历史 + 收藏偏好” 展示 “推荐歌单(每日 30 首)、新歌速递、相似曲风推荐”,支持按 “场景(通勤 / 学习 / 运动)” 切换推荐维度。 播放页功能:支持 “无损音质切换、倍速播放(0.5x-2.0x)、定时关闭、歌词逐句滚动”,提供 “沉浸式全屏模式”(隐藏冗余控件,突出歌词专辑封面)。 多端同步:自动同步 “播放进度、收藏列表、歌单” 至所有登录设备(如手机暂停后,电脑端打开可继续播放)。 音乐发现管理: 智能搜索:支持 “歌曲名 / 歌手 / 歌词片段” 搜索,提供 “模糊匹配(如输入‘晴天’联想‘杰伦 - 晴天’)、热门搜索词推荐”,果按 “热度 / 匹配度” 排序。 歌单管理:创建 “公开 / 私有 / 加密” 歌单,支持 “批量添加歌曲、拖拽排序、一键分享到社交平台”,系统自动生成 “歌单封面(基于歌曲风格配色)”。 音乐分类浏览:按 “曲风(流行 / 摇滚 / 古典)、语言(国语 / 英语 / 日语)、年代(80 后经典 / 2023 新歌)” 分层浏览,每个分类页展示 “TOP50 榜单”。 社交互动功能: 动态广场:查看 “关注的用户 / 音乐人发布的动态(如‘分享新歌感受’)、好友正在听的歌曲”,支持 “点赞 / 评论 / 转发”,可直接点击动态中的歌曲播放。 听歌排行:个人页展示 “本听歌 TOP10、累计听歌时长”,平台定期生成 “全球 / 好友榜”(如 “好友中你本听歌时长排名第 3”)。 音乐圈:加入 “特定曲风圈子(如‘古典音乐爱好者’)”,参 “话题讨论(如‘你心中最经典的钢琴曲’)、线上歌单共创”。 (2)音乐人端(创作者中心) 作品管理: 音乐上传:支持 “无损音频(FLAC/WAV)+ 歌词文件(LRC)+ 专辑封面” 上传,填写 “歌曲信息
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值