
自动驾驶感知--多传感器融合:相机、激光雷达、毫米波、超声波
文章平均质量分 75
自动驾驶感知---多传感器融合(相机、激光雷达、毫米波雷达、超声波雷达)
相机Camera、激光雷达Lidar、毫米波雷达Radar、超声波雷达
踟蹰横渡口,彳亍上滩舟。
贾较瘦
展开
-
【lidar】单目深度估计与伪雷达点云、可视化
单目深度估计项目代码下载地址:下载地址深度图转点云:def depth2ptc_universal(depth, intrinsics): """ depth: depth img ie. [384, 640] intrinsics: [] """ vu = np.indices(depth.shape).reshape(2, -1).T vu[:, 0], vu[:, 1] = vu[:, 1], vu[:, 0].copy() uv =原创 2021-06-27 15:30:17 · 2592 阅读 · 0 评论 -
【lidar】3D目标检测PointPillars:论文解读、代码解读、部署实现(2)
PointPillars部署:TensorRT推理实现,下载地址:添加链接描述PointPillars高度优化的点云目标检测网络PointPillars。主要通过tensorrt对网络推理段进行了优化,通过cuda/c++对前处理后处理进行了优化。做到了真正的实时处理(前处理+后处理小于 1 ms/Head)。Major Advance训练简单本仓库直接使用mmlab/OpenPCdet进行训练。所以只要你按照官方教程的教程是非常容易训练自己的数据,也可以直接采用官方训练参数来进行部署。但是原创 2022-03-20 14:37:25 · 7783 阅读 · 9 评论 -
【lidar】3D目标检测PointPillars:论文解读、代码解读、部署实现(1)
Abstract点云中的目标检测是自动驾驶等机器人应用中的一个重要方面。在本文中,作者思考了将点云编码成适合下游检测pipeline的格式问题。最近的文献提出了两种类型的编码器:固定编码器往往更快,但牺牲了准确性,而从数据学习的编码器更准确但是速度较慢。在这篇工作中,作者提出了一种可以利用PointNet去学习以垂直列组织的点云的表示(pillars)的新的encoder。这种编码特征可以用于任何标准的2D卷积检测体系结构,接着作者进一步提出了一个精简的下游网络。大量的实验表明,PointPillars.原创 2022-03-18 20:44:06 · 5040 阅读 · 10 评论 -
【camera】自动泊车-基于深度学习的视觉车位检测项目(课程设计--训练代码、测试代码、部署demo)(2)
**基于深度学习的点定位回归和角度预测的车位检测基于深度学习的点定位回归和角度预测基于深度学习的角点检测和角度回归**项目下载地址:训练代码、测试代码、部署demo数据集百度网盘下载:数据集下载结果:数据集:This dataset contains 9827 training images and 2338 test images. In order to test the performance of a parking-slot detection algorithm under原创 2021-06-27 16:32:27 · 2915 阅读 · 0 评论 -
【camera】自动泊车-视觉车位检测相关资料汇总(论文、数据集、源代码、相关博客、演示demo)(1)
【camera】自动泊车-视觉车位检测相关资料汇总(论文、数据集、源代码、相关博客、演示demo)parking slot detection论文2020论文2019论文2018论文2017论文2016论文相关代码相关博客数据集演示Demo论文2020“Context-Based Parking Slot Detection With a Realistic Dataset.” IEEE Access, 2020.“Real Time Detection Algorith原创 2022-03-13 11:42:37 · 6285 阅读 · 0 评论 -
【radar】毫米波雷达相关开源项目代码汇总(工具箱、仿真、2D毫米波检测、融合、4D毫米波检测、分割、SLAM、跟踪)(6)
【radar】毫米波雷达相关开源项目代码汇总(工具箱、仿真、2D毫米波检测、融合、4D毫米波检测、分割、SLAM、跟踪)(6)Toolboxpymmwhttps://github.com/m6c7l/pymmw@inproceedings{constapel2019practical,title={A Practical Toolbox for Getting Started with mmWave FMCW Radar Sensors},author={Constapel, Manfred原创 2022-03-09 21:07:04 · 10724 阅读 · 24 评论 -
【radar】毫米波雷达-相机-激光雷达融合相关论文汇总(特征融合、RPN融合、弱监督融合、决策融合、深度估计、跟踪)(5)
【radar】毫米波雷达-相机-激光雷达融合相关论文汇总(特征融合、RPN融合、弱监督融合、决策融合、深度估计、跟踪)(5)Radar Camera FusionFeature-level Fusion2019-Distant Vehicle Detection Using Radar and Vision2019-RVNet: Deep Sensor Fusion of Monocular Camera and Radar for Image-based Obstacle Detection原创 2022-03-09 21:02:55 · 6305 阅读 · 2 评论 -
【radar】毫米波雷达动态障碍物检测相关论文汇总(聚类、分类、稀疏2D点、4D点、雷达成像、原始数据处理)(4)
【radar】毫米波雷达动态障碍物检测相关论文汇总(聚类、分类、稀疏2D点、4D点、雷达成像、原始数据处理)(4)Detection of Dynamic ObjectsClustering2012-Grid-Based DBSCAN for Clustering Extended Objects in Radar Data2016-Adaptive Clustering for Contour Estimation of Vehicles for High-Resolution Radar2原创 2022-03-09 21:00:15 · 6587 阅读 · 0 评论 -
【radar】毫米波雷达静态障碍物识别及其相关资料(仿真、生成、标定、运动估计、静态障碍物识别)(3)
【radar】毫米波雷达相关资料(毫米波仿真、毫米波生成模型、毫米波标定、毫米波运动估计、毫米波静态障碍物识别)(3)毫米波标定:多毫米波雷达联合标定、相机和毫米波雷达联合标定、毫米波雷达和激光雷达联合标定、毫米波雷达、相机、激光雷达联合标定方案。毫米波雷达静态障碍物分类、检测、识别和分割方案仿真Diversified Radar Micro-Doppler Simulations as Training Data for Deep Residual Neural NetworksMeasur原创 2022-03-09 20:56:48 · 7028 阅读 · 1 评论 -
【radar】毫米波雷达相关资料(文献综述列表、顶会研讨会资料列表、顶会workshops资料列表、工具书、使用手册)(2)
【radar】毫米波雷达相关资料(毫米波雷达文献综述列表、毫米波雷达顶会研讨会资料列表、毫米波雷达顶会workshops资料列表、毫米波雷达工具书、毫米波雷达使用手册)(2)Review PapersIEEE Signal Processing Magazine Special IssuesAutonomous Driving Part I Sensing and PerceptionRadar Systems for Modern Civilian Applications Part I Pa原创 2022-03-09 20:49:17 · 5986 阅读 · 0 评论 -
【radar】毫米波雷达相关数据集(检测、跟踪、里程计、SLAM、定位、场景识别)总结(1)
毫米波雷达相关数据集(检测、跟踪、里程计、SLAM、定位、场景识别)总结(1)Radar相关产品和链接TI AWR2243Arbe PhoenixContinental ARS 540Oculli FalconOculli EagleVayyarAstyx (Acquired by Cruise)Huawei 4D radar newsZF PREMIUM newsWaymo newsA list of automotive radar companies linkRadar原创 2022-03-09 20:41:23 · 9491 阅读 · 0 评论 -
【camera】基于深度学习的车牌检测与识别系统实现(课程设计)
基于深度学习的车牌检测与识别系统实现(课程设计)代码+数据集下载地址:下载地址用python3+opencv3做的中国车牌识别,包括算法和客户端界面,只有2个文件,surface.py是界面代码,predict.py是算法代码,界面不是重点所以用tkinter写得很简单。使用方法:版本:python3.4.4,opencv3.4和numpy1.14和PIL5下载源码,并安装python、numpy、opencv的python版、PIL,运行surface.py即可算法实现:算法思想来自于网原创 2022-03-05 14:54:25 · 3855 阅读 · 0 评论 -
【camera】基于YOLO的车辆多维特征识别系统(车色,车品牌,车标,车型)与PYQT实现(课程设计)
基于YOLO的车辆多维特征识别系统(车色,车品牌,车标,车型)与PYQT实现(课程设计)代码下载地址:下载地址DEMOget started:PyQt5, 3.3以上的cv2 ,hyperlpr暂时不提供车型识别与颜色分类的模型下载 https://pjreddie.com/media/files/yolov3.weights ,并保存到yolo 目录下INTRO模型采用opencv DNN模块读取,所以确认你安装了含有DNN模块版本(3.3以上)的cv2车辆定位采用darknet原创 2022-03-05 14:41:19 · 3163 阅读 · 0 评论 -
【camera】自动驾驶感知系统实现(车道线检测和拟合、目标检测与跟踪、道路可行驶区域分割、深度估计、图像视野到BEV空间映射、像平面到地平面映射)
自动驾驶感知系统实现(车道线检测和拟合、目标检测与跟踪、道路可行驶区域分割、深度估计、图像视野到BEV空间映射、像平面到地平面映射)项目下载地址:项目下载地址推理引擎下载地址:推理引擎下载地址支持的功能包含的功能:车道线检测+车道线拟合;2D目标检测+目标跟踪;道路可行驶区域分割;目标深度估计;图像视野到BEV空间映射(Normal View -> Top View);像平面到地平面映射(image plane -> ground plane in world coord原创 2022-02-19 17:31:04 · 4365 阅读 · 1 评论 -
【camera】全景驾驶感知网络YOLOP部署与实现(交通目标检测、可驾驶区域分割、车道线检测)
全景驾驶感知网络YOLOP部署与实现(交通目标检测、可驾驶区域分割、车道线检测)原创 2022-02-19 17:47:15 · 5200 阅读 · 3 评论 -
【lidar】基于YOLO的3D目标检测(激光雷达点云)课程设计
基于YOLO的3D目标检测(激光雷达点云)课程设计代码+数据集下载地址:下载地址Complex-YOLOComplex-YOLO: Real-time 3D Object Detection on Point Clouds pytorchIntroductionThis is an unofficial implementation of Complex-YOLO: Real-time 3D Object Detection on Point Clouds in pytorch. A l原创 2022-03-05 13:39:14 · 2566 阅读 · 0 评论 -
【camera-radar】基于ROS的多传感器融合感知系统实现(雷达+相机)(3)
实现功能:代码下载地址:下载地址1)基于深度学习的目标检测;2)基于雷达的距离估计和预测;3)多传感器感知结果融合模块。雷达感知模块解析4. Run nodes:python3 fusion_node/main.pypython3 gps_node/main.pypython3 radar_node/main.pypython3 2d_detection_node/main.py #(additional instructions in 2d_detection_node/README.md原创 2022-03-06 16:15:26 · 9164 阅读 · 13 评论 -
【camera-radar】基于ROS的多传感器融合感知系统实现(雷达+相机)(2)
实现功能:代码下载地址:下载地址1)基于深度学习的目标检测;2)基于雷达的距离估计和预测;3)多传感器感知结果融合模块。相机感知模块解析4. Run nodes:python3 fusion_node/main.pypython3 gps_node/main.pypython3 radar_node/main.pypython3 2d_detection_node/main.py #(additional instructions in 2d_detection_node/README.m原创 2022-03-06 16:15:07 · 9569 阅读 · 4 评论 -
【camera-radar】基于ROS的多传感器融合感知系统实现(雷达+相机)(1)
实现功能:代码下载地址:下载地址1)基于深度学习的目标检测;2)基于雷达的距离估计和预测;3)多传感器感知结果融合模块。环境配置、数据下载、节点启动1. Install ROS melodic:Instructions are available at:http://wiki.ros.org/melodic/Installation/Ubuntu2. install dependencies:pip3 install -r requirements.txtMost of the pack原创 2022-03-06 16:14:38 · 9253 阅读 · 5 评论 -
【camera-lidar-radar】基于卡尔曼滤波和扩展卡尔曼滤波的相机、激光雷达、毫米波雷达多传感器后融合
【camera-lidar-radar】基于卡尔曼滤波和扩展卡尔曼滤波的相机、激光雷达、毫米波雷达多传感器融合代码下载地址(C++ and Python):红点和蓝点分别表示radar和lidar的测量位置,绿点表示多传感器融合后的输出结果,真值为小车所在的位置...原创 2022-02-26 16:44:22 · 2844 阅读 · 0 评论 -
【camera-radar】相机-毫米波雷达联合标定方案介绍+实现
【camera-radar】相机-毫米波雷达联合标定方案介绍+实现代代码下载地址:下载地址部分代码:#include "typedef.h"#include <opencv2/opencv.hpp>#include <iostream>#include "WaveRadar2Image.h"#include "CGetVideo.h"//�������//CGetVideo m_getVideo(18072414); // ����������:17369069原创 2022-02-26 15:05:46 · 2826 阅读 · 1 评论 -
【camera-radar】自动驾驶相机-毫米波雷达融合方案综述
如今的自动驾驶需要满足应多种复杂场景原创 2022-02-26 14:11:39 · 3159 阅读 · 0 评论 -
【camera-lidar】自动驾驶相机-激光雷达融合方案综述
数据集:多模态融合是感知自动驾驶系统的一项基本任务,最近引起了许多研究人员的兴趣。然而,由于原始数据噪声大、信息利用率低以及多模态传感器的无对准,达到相当好的性能并非易事。本文对现有的基于多模态自动驾驶感知任务方法进行了文献综述。分析超过50篇论文,包括摄像头和激光雷达,试图解决目标检测和语义分割任务。与传统的融合模型分类方法不同,作者从融合阶段的角度,通过更合理的分类法将融合模型分为两大类,四小类。此外,研究了当前的融合方法,就潜在的研究机会展开讨论。最近,用于自动驾驶感知任务的多模态融合方法发展迅原创 2022-02-26 12:23:34 · 1126 阅读 · 0 评论 -
【radar】毫米波雷达简介
毫米波雷达的分类频率在10GHz~200GHz的电磁波,由于其波长在毫米量级,因此处于该频率范围的电磁波也被工程师们称为毫米波。应用在自动驾驶领域的毫米波雷达主要有3个频段,分别是24GHz,77GHz和79GHz。不同频段的毫米波雷达有着不同的性能和成本。以Audi A8的传感器布局为例,讲解不同频段毫米波雷达的功能。短距离雷达:24GHz频段如上图所示被标注了橙色框的Corner radar和Rear radar,就是频段在24GHz左右的雷达。处在该频段上的雷达的检测距离有限,因此常用于原创 2022-02-23 20:28:48 · 3971 阅读 · 0 评论 -
【camera】6.相机上下游厂商及相机选型
原创 2022-02-19 15:35:14 · 3095 阅读 · 0 评论 -
【camera】5.相机内嵌图像处理(ISP)介绍
小透镜放在滤光片上来增加光线的收集能力传感器只能测量光的强弱,并不能区分颜色,这就需要将不同颜色的滤镜和传感器结合起来,实现这一过程的技术叫做拜尔阵列(“Bayer” pattern)传感器是光敏二极管光线进入镜头,到达【带有RGB滤光阵列的传感器】,得到最原始的电信号。这个信号经过【ISO增益和原始图像处理】【RGB去马赛克】和【降噪】,就会得到raw格式的图片,对它接着进行【白平衡以及色彩空间转换】和【色彩处理】,并【映射到sRGB输出】,这时图片已经呼之欲出,只要【JPEG压缩】并【保存原创 2022-02-19 15:32:02 · 3358 阅读 · 0 评论 -
【camera】4.图像的颜色空间
在实验中,让健康的志愿者来担任“标准观察者”,并使用2度视场角的圆形屏幕(固定视场角是因为视锥细胞集中分布于视网膜的中心凹区域,从而对色彩最敏感)。屏幕的一半投上测试单色光,另一半投上可调整的光。可调整的光是三种单色光的混合,他们波长固定(700 nm, 546 nm, 435 nm)强度可调节,并称这三个波长为原色。选择546.1 nm和435.8 nm的原色是因为它们是汞蒸气放电的颜色,容易复现,而选择700 nm是因为眼睛在700 nm处对光线的变化不敏感,波长的误差对感知的影响不大。实验时,对原创 2022-02-19 15:17:50 · 2584 阅读 · 0 评论 -
【camera】3.相机成像颜色及其组成
光的分解光的组成色觉的定义:物体反射或发射光的方式而在眼睛上产生不同感觉的物体所具有的特性。色调(H),饱和度(S),明度(V)人眼有三种受体细胞来感受光线反射出来的颜色,分别对短波、中波、长波的敏感程度各有差异。每个人眼对各个波长的光敏感程度都不一样,红绿色盲:中波和长波的敏感曲线重合色弱:对各个波段的敏感程度偏低无线电光谱,人眼可见的只是其中很小的一部分通常人眼的看可见光波长范围在380nm-720nm之间视椎细胞:的空间分辨率高,视杆则对微弱光线更敏感。视杆细胞:对暗光原创 2022-02-19 14:58:25 · 2917 阅读 · 0 评论 -
【camera】2.相机成像原理和数学模型
相机模型中的坐标系:Ow-xyx:世界坐标系,物体位置,单位:mOc-xyz:相机坐标系,光心为原点,单位:mOi-xy:图像坐标系,光心为图像中心,单位:mmOp-xy:像素坐标系,原点为图像右上角,单位:pixel其中:1)Fx和Fy为水平和竖直方向每毫米像素数2)Cx和Cy为图像坐标系原点在像素坐标系下的位置3)K为畸变系数k1,k2,k3,k44)R、t表示旋转和平息矩阵5)点P1基于世界坐标系,P2为P1对应的像素坐标系的位置, P3为P2在畸变校正后的位置6)Extr原创 2022-02-19 14:48:04 · 4057 阅读 · 0 评论 -
【camera】1. 相机硬件组成
相机—光照测量设备图像—辐射能量测量Lens:镜头VCM:音圈马达IR Filter:滤光片Sensor:感光元件CCD\CMOS,Substrate PCB:基片电路DSP(option):数字信号处理器ISP(option):图像信号处理器CCD 电耦合器件CMOS 互补性金属氧化物半导体无论是ccd还是cmos都是光电二极管进行感光的镜头音圈马达(VCM)CCD 电耦合器件CMOS 互补性金属氧化物半导体无论是ccd还是cmos都是光电二极管进行感光的主要原创 2022-02-19 14:41:52 · 3297 阅读 · 0 评论