卷积神经网络CNN是靠什么线索学习到深度信息的?

CNN_年龄_性别预测模型文件 基于CNN训练的年龄和性别预测的二进制模型、描述文件、标签文件。 立即下载

转载于 :量子位,王乃岩知乎

虽然这文章没有提出新的方法,但是对于我们理解CNN是如何学习到一些appearance cue来处理需要几何模型的视觉问题大有裨益。

首先,我们知道单目相机是没有办法恢复出来绝对尺度的,但是如果我们有实际的场景先验,这个问题是可以部分被解决的,在自动驾驶的场景中体现最为明显。简化的原理如下图:

在上面这个图中,对实际场景做了一些简化。所有的大写字母代表的都是在3D世界中的实际坐标,小写字母代表的都是在相机成像平面上的像素坐标。f为相机的实际焦距,假设通过标定已知。

那么我们其实可以在图中找到两个和Z相关的相似三角形来恢复实际尺度:

第一个是h/H = f/Z,整理下可得到Z=Hf/h。

从上面公式可知,我们需要知道实际世界中的车宽(或车高),然后通过物体在图像中的像素高度即可换算出来实际物体的距离。直观上来理解,物体应该是近大远小的。

第二个是y/Y = f/Z,同理可得Z=Yf/y。

在这种方法中,我们需要知道的是相机距离地面的安装高度以及在图像中车轮与地面接触点的纵坐标。直观上理解,如果我们在一条平直的路上,那么离我们越近的物体它的纵坐标应该越靠图像下方,越远的物体越靠图像上方。

那这些CNN深度估计的方法是靠什么样的线索来估计的呢?文中第一部分便是研究这个问题。作者使用了一个假的车通过变换大小和位置贴在一张真实的图片中来验证各个猜想。

第一行中,是按照正常的逻辑同时变换高度和大小,可见整体的预测是符合常理的。

在第二行中,贴图的时候只变化垂直方向上的位置,物体的大小没有进行缩放,可见随着放置纵坐标的变化物体的距离也有相应的变化。

但是在第三行中,保持物体的纵坐标不变,只是缩放大小,整个神经网络的输出其实相当一致,并没有剧烈变化。(都注意预测中白框内的结果即可,也就是车尾的距离)下面是一个定量的结果:

可见,scale only完全丧失了预测的能力,但是剩下的两种方式趋势仍然正确。

所以,本文的第一个结论便是,CNN其实是通过物体在图像中的纵坐标而不是物体的长宽来对物体测距的。

这个结论说实话还挺反直觉的,文末谈了一些我个人的想法。

在第二部分中,作者探究了camera pose对于CNN深度估计算法的影响。理论上讲,一个鲁棒的算法应该对于camera pose的变化具有不变性。但是实际上并非如此。作者分别对pitch和roll角的扰动进行了分析。

首先对于pitch而言,作者可以通过robust fitting的办法通过预测出的深度图来得到地平线的位置,这个算法就不再详述。然后作者通过center crop的方式来模拟相机pitch角度的变化,第一点,可以看到CNN预测出的深度图是能够部分反映出地平线位置的变化的,但是和理想状况仍有差距。第二点,基于前面分析出CNN其实是通过物体接地点的纵坐标来计算深度的,所以毫不意外,在这样center crop的setting下,深度完全随着crop的位置而变化,但实际上场景并没有变化。

对于roll角也可以类似地做敏感度分析,最终结论是,CNN预测出深度图的roll角确实和GT有一定相关性,但是相对于pitch来说弱了很多。

第三部分,也是最有意思的部分,就是去验证CNN对于颜色和材质的不变性。

可以看到,去掉颜色保留灰度,或者用一个假的颜色预测结果都还算合理。但是如果使用类平均的颜色或者是指定颜色,整个预测结果会受到非常大的影响。

这其实表明,虽然不需要显式地model语义信息,但是纹理对于深度预测仍然非常关键。

文中也进行了其他诸多实验去验证CNN对于未知物体以及轮廓的敏感性,这里就不再展开。只举一个我觉得很有趣的例子。如果我们在图上加入一些训练集中没有出现过的未知物体,不出意外,模型是完全无法感知到它们的存在。但是如果我们在这些物体下面加入一些阴影,那么模型突然就可以找出整个的物体。

从这个小小的实验中,我们可以管窥CNN究竟是通过什么样的信息来识别物体,以及CNN是多么喜欢去找数据中的“捷径”来fit数据的。

说了这么多,这个文章也有几点我觉得可以继续深挖下去,包括:

1.在室内场景,如NYU Depth这样的数据集中,没有这样大面积的ground plane,CNN是如何估计出深度的?

2.在第一个分析实验中,既然CNN是通过车轮地面接触点的纵坐标来测距的,那么这个信息又是从哪里来的?网络结构基本是一个FCN,具有translation invariant的特点,那么理应不包括坐标信息。那是padding泄露了位置信息?还是通过车道线或者是其他的一些cue泄露了这个信息,这也是很有意思的一点。直观上来讲,物体的scale是CNN更容易捕捉的信息,但实际上并没有,这也就说明其实有一些CNN更直接可以利用的cue我们没有发现到。

3.既然CNN对于crop和rotation很敏感,那如果我们训练的时候使用了random crop和random rotation这样的data augmentation,那么CNN依赖的深度线索是否会有变化?

总结一下,现有基于CNN做深度估计的算法本质上还都是通过overfit场景中的某种信息来进行深度估计,整体来说这些方法其实并没有考虑到任何几何的限制,所以在不同场景下的泛化能力也比较弱。

如何能结合geometry方法和learning方法的优势是一个老生常谈的话题。

一方面这个问题可以被拆分成两部分,一部分通过几何的办法来完成不同位置相对深度的估计,另一部分通过一些场景先验或者数据驱动的办法来预测出绝对尺度,然后再融合这两者得到一个可靠鲁棒的深度估计。

另一方面,也许可以通过预测一些不变的物理量再结合上几何信息来得到最终的深度信息,例如某些特定车型的尺寸,车道线等信息。这个领域中仍然有大量open的问题有待解决。

论文传送门

How do neural networks see depth in single images?
作者:Tom van Dijk, Guido de Croon
Proceedings of the IEEE International Conference on Computer Vision. 2019.
https://arxiv.org/abs/1905.07005

欢迎扫码关注:

Hermes Agent 安装部署完全指南 Hermes Agent安装部署指南提供了两种安装方式:一键脚本安装和手动分步安装。该AI助手支持多平台运行(Linux/macOS/WSL2),核心功能仅需Git作为前置依赖,其他依赖如Python、Node.js等均由安装脚本自动处理。文档详细介绍了系统要求、依赖管理、配置目录结构、环境变量设置以及10个手动安装步骤,并提供了功能模块化选项,用户可根据需求选择安装语音交互、浏览器自动化等扩展功能。安装完成后可通过hermes doctor命令验证环境,并通过交互式向导完成初始化配置。 阅读详情

相关推荐

ArcGIS+PLUS+InVEST三件套:从零搞定生态系统服务模拟预测(附完整数据包)

本文详细介绍了如何整合ArcGIS、PLUS模型和InVEST模型,构建一套完整的生态系统服务模拟预测工作流。内容涵盖从统一数据预处理、PLUS模型多情景模拟,到InVEST模型量化评估的全过程,并提供了关键脚本和避坑指南,旨在帮助研究者和从业者高效解决土地利用变化与生态系统服务评估结合的实际难题。

weixin_42522857的博客 140

CNN是靠什么线索学习到深度信息的?——一个经验性探索

点击上方“视学算法”,选择“星标”公众号重磅干货,第一时间送达作者 王乃岩丨图森未来首席科学家量子位获授权转载原文链接:https://zhuanlan.zhihu.com/p/957...

zandaoguang的博客 219

GPOPSII 对控制量变化率进行约束,避免控制量振荡

在这篇文章中,在GPOPSII中通过对控制量变化的约束,优化求解得到更平滑的控制量曲线,更符合真实控制约束。

Dannyfomer的博客 1871

卷积神经网络之“浅层特征”与“深层特征”

特征提取;特征融合

m0_62311817的博客 3万+

CH341的I2C流模式(StreamI2C)到底怎么用?从EEPROM读写到自定义设备,一篇讲清参数配置逻辑

本文详细解析了CH341的I2C流模式(StreamI2C)的使用方法,从EEPROM读写到自定义设备的参数配置逻辑。通过深入分析I2C协议基础、StreamI2C参数映射关系及典型设备配置示例,帮助开发者快速掌握StreamI2C的应用技巧,解决实际开发中的常见问题。

weixin_30932215的博客 452

简单易懂的AXI_Lite 总线详解

简单易懂的AXI_Lite 总线详解 1、前言 AXI_LITE协议主要应用于Xilinx的ZYNQ芯片构架下的ARM和FPGA之间的数据读写,更偏向于单个寄存器的读写。 2、AXI总线与ZYNQ的关系 AXI(Advanced eXtensible Interface)本是由ARM公司提出的一种总线协议,Xilinx从6系列的FPGA开始对AXI总线提供支持,此时AXI已经发展到了AXI4这个版本,所以当你用到Xilinx的软件的时候看到的都是“AIX4”的IP,如Vivado打包一个AXI IP的时候,

m0_46642108的博客 8499

CNN中的底层、高层特征、上下文信息、多尺度

分类要求特征有较多的高级信息,回归(定位)要求特征包含更多的细节信息。

Rolandxxx的博客 1万+

KiCad自动布线实战:FreeRouting插件安装与使用指南

在PCB设计流程中,布线环节往往占据大量重复性工作,尤其对于中小型双面板,成百上千条飞线的手动连接既繁琐又易出错。自动布线技术通过算法在给定设计规则和元件布局的基础上自动规划走线路径,能显著提升布线效率。FreeRouting作为一款开源自动布线器,与KiCad通过DSN/SES标准中间格式无缝配合,让工程师将精力集中于关键信号和布局优化,而将常规网络交给工具处理。本文从自动布线的原理与边界出发,讲解了FreeRouting的安装、DSN导出、参数设置、自动布线及结果回传的完整流程,并结合实际案例展示了在S

weixin_32025789的博客 283

【深度学习】卷积神经网络CNN是靠什么线索学习到深度信息的?

转载于 :量子位,王乃岩知乎虽然这文章没有提出新的方法,但是对于我们理解CNN是如何学习到一些appearance cue来处理需要几何模型的视觉问题大有裨益。首先,我们知道单目相机是没有办法恢复出来绝对尺度的,但是如果我们有实际的场景先验,这个问题是可以部分被解决的,在自动驾驶的场景中体现最为明显。简化的原理如下图:在上面这个图中,对实际场景做了一些简化。所有的大写字母代表的都是在3D世界中的实...

fengdu78的博客 100

利用DRONEKIT-SITL + MAVPROXY + QGroundControl模拟飞行

dronekit: 一种用于无人机控制的python库。 dronekit-sitl:一种本地仿真工具,相当于本地虚拟化了一个无人机。 mavproxy:数据转发软件(类似于插线板的感觉,一个输入,多个相同的输出)。打开一个Anaconda prompt 首先激活相应的环境 然后运行如下命令: 保持2中的Anaconda prompt处于运行状态,另打开一个Anaconda prompt窗口,运行如下命令: tcp:127.0.0.1:5760: SITL默认端口,作为mavproxy的输入,把输入数据转发

Done___的博客 4344

大语言模型在金融风险预警中的推理应用探索

金融行业一直面临着各种风险,如信用风险、市场风险、操作风险等。准确及时的风险预警对于金融机构的稳定运营和投资者的利益保护至关重要。传统的金融风险预警方法主要基于结构化数据和统计模型,虽然在一定程度上能够识别风险,但对于非结构化数据的处理能力有限,难以捕捉到复杂的风险因素和潜在的风险趋势。大语言模型作为自然语言处理领域的重要突破,具有强大的语言理解和生成能力,能够处理各种形式的文本数据。

AI天才研究院 1171

和cnn结合_一个经验性探索:CNN是靠什么线索学习到深度信息的?

加入极市专业CV交流群,与10000+来自腾讯,华为,百度,北大,清华,中科院等名企名校视觉开发者互动交流!同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流。关注极市平台公众号,回复加群,立刻申请入群~作者:Naiyan Wang知乎链接:https://zhuanlan.zhihu.com/p/95758284本文已由作者授权转载,未经允许,不得二次转载。...

weixin_39757122的博客 110

unity6000.0.3版本URP下ScriptableRendererFeature如何实现一张自定义贴图效果?

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值。

**My Coding Family** 586

【基础】CNN是靠什么线索学习到深度信息的?——一个经验性探索

点击上方,选择星标或置顶,每天给你送干货!阅读大概需要8分钟跟随小博主,每天进步一丢丢作者 王乃岩丨图森未来首席科学家量子位获授权转载原文链接:https://zhuanlan.zhi...

zenRRan的博客 163

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

深度学习backbone是什么意思_CNN是靠什么线索学习到深度信息的?——一个经验性探索...

今天给大家带来一篇我很喜欢的风格的paper,详细分析了基于深度学习的单目深度估计算法的局限性。虽然这文章没有提出新的方法,但是对于我们理解CNN是如何学习到一些appearance cue来处理需要几何模型的视觉问题大有裨益。首先,我们知道单目相机是没有办法恢复出来绝对尺度的,但是如果我们有实际的场景先验,这个问题是可以部分被解决的,在自动驾驶的场景中体现最为明显。简化的原理如下图:在上面这个图...

weixin_39719585的博客 269

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

深入理解卷积神经网络(CNN)与Lingbot所采用的ViT架构对比

本文介绍了在星图GPU平台上自动化部署lingbot-depth-pretrain-vitl-14镜像,以进行计算机视觉深度估计任务。该镜像基于Vision Transformer架构,擅长通过全局注意力机制理解复杂场景,可应用于自动驾驶、机器人导航等需要精确环境感知的场景中,实现高效的深度图生成。

weixin_35899324的博客 169

LingBot-Depth与卷积神经网络结合:提升深度感知的3D重建精度

本文介绍了如何在星图GPU平台自动化部署LingBot-Depth镜像,实现高精度深度感知与3D重建。该镜像结合卷积神经网络,能有效处理透明物体和复杂光照场景,提升机器人导航、AR/VR等应用的障碍物感知与虚拟物体放置精度。

weixin_35949153的博客 415

FaceRecon-3D与CNN结合:提升3D人脸重建精度

本文介绍了如何利用星图GPU平台,一键自动化部署🎭 FaceRecon-3D - 单图3D人脸重建系统镜像。该系统结合深度CNN技术,显著提升了从单张照片重建3D人脸模型的精度与真实感,可广泛应用于虚拟角色创建、影视特效制作等需要高保真数字人脸的场景。

weixin_42298164的博客 297

Face3D.ai Pro与卷积神经网络结合:提升3D人脸重建精度

本文介绍了如何利用星图GPU平台自动化部署🎭 Face3D.ai Pro镜像,以提升3D人脸重建的精度。通过将便捷的Face3D.ai Pro与强大的卷积神经网络技术结合,该方案能够从单张照片生成高精度3D人脸模型,可广泛应用于游戏角色创建、影视数字人制作等需要高保真数字资产的场景。

weixin_26854475的博客 87

《Deep Learning-Based Monocular Depth Estimation Methods—A State-of-the-Art Review》阅读分享

论文阅读分享 论文导航abstractintroduction数据集简短描述基于深度学习的单目深度估计方法概括评价指标当前最先进的五种方法的对比效果研究论文下载 abstract 摘要:红绿蓝(RGB)图像的单目深度估计是计算机视觉中一个研究较多的不适定问题,近十年来利用深度学习(DL)方法对其进行了深入研究。目前的单目深度估计方法大多依赖于卷积神经网络(Convolutional Neural Networks, CNN)。从二维图像中估计深度在各种应用中扮演着重要的角色,包括场景重建,三维物体检测,机器

XinYuanIng的博客 1212

论文笔记--Robust 3D Hand Pose Estimation in Single Depth Images: from Single-View CNN to Multi-View CNNs

单一深度图像中的鲁棒性三维手部姿势估计:从单视图CNN到多视图CNN

Thewindking的博客 689

深入浅出Lingbot-Depth-Pretrain-ViTL-14背后的卷积神经网络与ViT原理

本文介绍了Lingbot-Depth-Pretrain-ViTL-14模型如何融合CNN与ViT技术进行单目深度估计。用户可在星图GPU平台上一键自动化部署该镜像,快速搭建深度感知应用环境,典型应用于为2D图像或视频生成对应的深度图,为AR/VR、机器人导航、3D重建等场景提供核心视觉理解能力。

weixin_42497762的博客 206
上一篇: 吴恩达新书《Machine Learning Yearning》完整中文版pdf下载
下一篇: 你可能不知道的 Python 技巧
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值