【FastDepth】《FastDepth：Fast Monocular Depth Estimation on Embedded Systems》

嵌入式AI微航空器：深度估计模型的低延迟优化与实战应用
原创 已于 2023-02-09 10:18:38 修改 · 1.5k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #人工智能 #单目深度估计

于 2022-05-20 20:54:21 首次发布
本文探讨了如何通过改进的U-Net架构、NetAdapt剪枝和TVM硬件编译，降低单目深度估计模型的复杂性和延迟，使其适用于微航空器的机器人任务，如定位、避障。研究以NYUDepthv2数据集为基准，评估了模型的精度和速度，并展示了在Jetson TX2不同模式下的性能对比和优化细节。

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
ICRA-2019

文章目录

1 Background and Motivation

加速现有单目深度估计模型，使其不太损失精度的同时有较低延迟，能在 micro aerial vehicle 部署运行，辅助 mapping, localization, and obstacle avoidance 等 robotic tasks

2 Related Work

  • Monocular Depth Estimation
  • Efficient Neural Networks
  • Network Pruning

3 Advantages / Contributions

加速单目深度估计模型：

  • a low-complexity and low-latency decoder design
  • a state-of-the-art pruning algorithm（NetAdapt 剪枝）
  • Hardware-specific compilation（TVM 部署 DWConv 优化）

4 Method

1）整体结构
在这里插入图片描述
朴实无华的 U-Net 结构，skip connection 用的 add（没用 concat，avoid increasing the number of feature map channels）

upsample layer 细节如下

在这里插入图片描述

conv5（深度可分离卷积） + linear interpolation(相比于双线性，底层实现简单通用)

2）Network Pruning

用的 NetAdapt 方法来剪枝

《NetAdapt: Platform-Aware Neural Network Adaptation for Mobile Applications》

在这里插入图片描述

就比较暴力和直接，下面的图更直观一些

最低0.47元/天 解锁文章
深度估计源码详解
qq_52053775的博客
01-25 2150
项目中所包含的库直接使用pip install就好，但是有3个地方需要处理一下：fcntl，这个需要打开anaconda安装路径中的自己当前使用的环境，然后进去lib文件夹中新建一个fcntl.py 放在lib下，fcntl.py在源码中安装路径下已经提供了，需要自行复制到环境的lib文件夹中curses，这个包安装显示找不到对应的包，需要手动下载后本地安装，地址为https://www.lfd.uci.edu/~gohlke/pythonlibs/#curses。
深度学习论文: BoRe-Depth: Self-supervised Monocular Depth Estimation with Boundary Refinement for Embedded
mingo_敏
11-14 59
单目深度估计凭借其低成本优势备受关注，但现有方法在嵌入式系统上存在深度估计精度不足、物体边界模糊等挑战。本文提出一种仅含870万参数的新型单目深度估计模型BoRe-Depth（边界优化深度估计网络），该模型能在嵌入式系统上精确生成深度图，并显著提升边界质量。首先，我们设计了增强特征自适应融合模块（EFAF），通过自适应融合深度特征来增强边界细节表征能力；其次，将语义知识集成至编码器，提升物体识别与边界感知性能；
阅读笔记之FastDepth: Fast Monocular Depth Estimation on Embedded Systems
u013517182的博客
12-18 1805
这篇文章做了啥 对嵌入式，做了一个实时的单目深度估计框架。作者提出了一个efficient的encoder-decoder结构，精度可以和sota相媲美，并且推理时间非常短。作者主要集中在低延迟的decoder的设计上来 相关工作 作者回顾了一系列的单目深度估计的方法，说之前的方法主要集中在提升网络的精度上面，并没有太多考虑精度的信息。作者还回顾了mobilenet用1/30的参数达到了...
fast-depth:ICRA 2019“ FastDepth”
03-11
快速深度 此为MIT的项目提供了经过训练的模型和评估代码。 内容 要求 在具有CUDA GPU的计算机上安装 。 我们的代码是在运行PyTorch v0.4.1的系统上开发的。 安装格式库。 预处理数据集中的文件为HDF5格式。 sudo apt-get update sudo apt-get install -y libhdf5-serial-dev hdf5-tools pip3 install h5py matplotlib imageio scikit-image opencv-python 以HDF5格式下载预处理的数据集，并将其放置在repo目录外部的data文件夹下。 NYU数据集需要32G的存储空间。 mkdir data ; cd data wget http://datasets.lids.mit.edu/fastdepth/data/nyudepthv2.tar
探索快速深度计算：Fast-Depth 项目解析与应用指南
gitblog_00057的博客
04-25 629
探索快速深度计算：Fast-Depth 项目解析与应用指南 fast-depthICRA 2019 "FastDepth: Fast Monocular Depth Estimation on Embedded Systems"项目地址:https://gitcode.com/gh_mirrors/fa/fast-depth 在计算机视觉领域，深度信息的获取和处理是关键的一环，尤其是在3D重建、...
泡泡一分钟：Towards real-time unsupervised monocular depth estimation on CPU
anlaiji6783的博客
03-09 467
Towards real-time unsupervised monocular depth estimation on CPU Matteo Poggi , Filippo Aleotti , Fabio Tosi , Stefano Mattoccia 在CPU上进行实时无监督单目深度估计 Abstract— Unsupervised depth estimation fro...
【Advanced】Image Depth Estimation in MATLAB: Using Deep Learning for Image Depth Estimation
## 2.1 The Architecture and Principles of Deep Neural Networks A Deep Neural Network (DNN) is a machine learning model with multiple processing units (neurons) organized in layers connected by ...
Upsample上采样相关论文集
10-24
《FastDepth: Fast Monocular Depth Estimation on Embedded Systems》 《FlowNet: Learning Optical Flow with Convolutional Networks》 《Fully Convolutional Networks for Semantic Segmentation》 《Learning ...
单目图像深度估计算法-FastDepth
stupid_miao的博客
07-05 6899
基于深度学习的单目深度估计在近几年是比较热门的研究方向之一，MIT的Diana Wofk等人在ICRA 2019上提出了一种用于嵌入式系统的深度估计算法FastDepth，在保证准确率的情况下，大大提高了模型的计算效率。 论文：FastDepth: Fast Monocular Depth Estimation on Embedded Systems Offical Pytorch：https:/...
开源项目推荐：FastDepth
gitblog_01173的博客
11-16 1072
FastDepth 是一个由 MIT 开发的开源项目，旨在实现嵌入式系统上的快速单目深度估计。该项目主要使用 Python 编程语言，同时涉及到深度学习框架 PyTorch。 ## 项目基础介绍 FastDepth 项目是 ICRA 2019 上的一篇论文 "FastDepth: Fast Monocular Depth Estimation on Embedded Systems" 的实现，
FastDepth-master.zip
04-30
可以在手机端运行的深度图重建，单目重建
monocular-depth-estimation
05-04
深度估计的思维导图 单眼深度估计 VIO DeepVIO：使用3D几何约束对单眼视觉惯性里程表进行自我监督的深度学习 DeepVO：用于单眼视觉测程的深度学习方法 激光雷达 DeepLiDAR：基于稀疏LiDAR数据和单色图像的室外场景的深表面法向引导深度预测 Pseudo-LiDAR ++：自动驾驶中3D对象检测的准确深度 LiStereo：从LIDAR和立体影像生成密集深度图 自我监督的稀疏到密集：LiDAR和单眼相机的自我监督深度完成 基于RGB和LiDAR融合的3D语义分割用于自动驾驶 2020年 不要忘记过去：单眼视频的深度估计 2019年 用于自我监督单眼深度估计的3D包装 纸 单眼视频连接流量，深度和相机中具有几何约束的自我监督学习 纸 SuperDepth：自我监督，超分辨的单眼深度估计 纸 卷积神经网络如何编码位置信息？ 纸 单目视频的实例深度和运动学习 纸 神经网络
monocular_depth_estimation:纽约大学数据集上的单眼深度估计
04-02
纽约大学数据集上的单眼深度估计 该项目演示了一种单眼深度估计网络的开发，该网络是改编。
Monocular-Depth-Estimation-Toolbox 使用教程
gitblog_00629的博客
11-16 348
该开源项目`Monocular-Depth-Estimation-Toolbox`基于PyTorch和MMSegmentation库构建，用于单目深度估计的研究和基准测试。以下是主要目录结构的简要说明： ``` ├── configs // 存放模型配置文件 │ ├── adabins // AdaBins相关的配置 │ └── ... // 其他方法的配
FastDepth 项目使用教程
最新发布
gitblog_00994的博客
11-16 955
FastDepth 是一个用于嵌入式系统的快速单目深度估计项目。该项目由 dwofk 开发，并在 2019 年的 IEEE 国际机器人与自动化会议（ICRA）上发布。FastDepth 利用深度学习技术，能够在嵌入式设备上实现高效的单目深度估计，适用于多种视觉任务和应用场景。 ## 项目快速启动 ### 环境配置 首先，确保你的开发环境满足以下要求： - Python 3.x - PyTor
【亲测免费】 FastDepth：嵌入式系统上的快速单目深度估计
gitblog_00706的博客
11-14 576
FastDepth是由MIT开发的一个开源项目，专注于在嵌入式系统上实现快速且高效的单目深度估计。该项目提供了经过训练的模型和评估代码，旨在为开发者和研究人员提供一个强大的工具，以便在资源受限的环境中进行深度学习应用。 ## 项目技术分析 FastDepth项目基于PyTorch框架，利用了MobileNet架构和NNConv5层，通过深度可分离卷积和网络剪枝技术（如NetAdapt）来优化模
Digging into Self-Supervised Monocular Depth Estimation论文复现
03-19
### 关于Self-Supervised Monocular Depth Estimation论文的复现方法与代码 #### 复现方法概述 为了成功复现Self-Supervised Monocular Depth Estimation的相关工作，通常需要遵循以下几个方面的要求： 1. **数据准备** 自监督单目深度估计的核心在于利用未标注的数据进行训练。例如，《PackNet：3D Packing for Self-Supervised Monocular Depth Estimation》提到使用视频序列和相机运动信息作为输入[^2]。因此，可以选择公开可用的数据集如KITTI、Cityscapes或DDAD（如果适用），并确保数据预处理阶段能够提取连续帧及其对应的相机姿态。 2. **网络架构设计** 不同的论文采用了不同的网络结构来提升深度估计的效果。例如： - DIFFNet引入了高分辨率编码器，并通过注意力机制优化跳接连接[^1]。 - HR-Depth则专注于增强 shortcut 连接的质量以及采用 fSE 特征融合算子以更好地保留语义和空间信息[^4]。 在实际复现时，可以根据目标需求选择合适的网络结构或者尝试结合多种技术特点。 3. **损失函数定义** 损失函数的设计对于自监督学习至关重要。常见的做法包括但不限于光度一致性损失 (photometric consistency loss)，几何正则化项等。特别值得注意的是，《Digging Into Self-Supervised Monocular Depth Estimation》一文中提到了几种改进措施——最小重投影损失、自适应遮罩损失及全分辨率多尺度采样方法，这些都可以显著改善最终结果[^3]。 4. **实验环境配置** 确保开发环境中安装有必要的依赖库版本匹配（比如PyTorch/TensorFlow）。同时也要注意硬件资源是否满足大规模神经网络训练的需求。 #### 示例代码片段 以下是基于PyTorch框架的一个简单示例，展示如何构建基础版的自监督单目深度估计流程的一部分： ```python import torch import torch.nn as nn from torchvision import models class Encoder(nn.Module): def __init__(self): super(Encoder, self).__init__() resnet = models.resnet18(pretrained=True) layers = list(resnet.children())[:8] self.encoder = nn.Sequential(*layers) def forward(self, x): return self.encoder(x) class Decoder(nn.Module): def __init__(self): super(Decoder, self).__init__() # Define decoder architecture here... def forward(self, x): pass # Implement decoding logic def photometric_loss(img1_warped, img2): """Compute photometric reconstruction error.""" l1_loss = torch.abs(img1_warped - img2).mean() ssim_loss = SSIM()(img1_warped, img2).mean() # Assume an implemented SSIM function exists. total_loss = 0.85 * ssim_loss + 0.15 * l1_loss return total_loss # Instantiate encoder & decoder... encoder = Encoder().cuda() decoder = Decoder().cuda() # Example usage during training loop: for batch_data in dataloader: imgs, poses = batch_data['imgs'], batch_data['poses'] features = encoder(imgs.cuda()) depths_pred = decoder(features) # Predicted inverse depth maps. warped_img = warp_image(depths_pred, poses) # Function to perform warping based on predicted depths and camera poses. loss_value = photometric_loss(warped_img, target_img) optimizer.zero_grad() loss_value.backward() optimizer.step() ``` 上述代码仅为示意性质，具体实现还需参照原论文中的详细算法描述调整参数设定与功能模块。 --- ###
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值