FuseSeg：用于自动驾驶领域的RGB和热成像数据融合网络

最新推荐文章于 2024-05-19 01:46:21 发布
最新推荐文章于 2024-05-19 01:46:21 发布
阅读量854 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 3D视觉从入门到精通
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Yong_Qi2015/article/details/107054144
FuseSeg是一种创新的深度学习网络，它结合RGB和热成像数据，以提高在光照条件不佳时的城市场景语义分割性能。在自动驾驶领域，这种融合技术能确保在昏暗或黑暗环境中准确理解周围环境，超越了单一模态网络的能力。通过Monte Carlo dropout分析，该网络展示了在不确定性估计方面的优势，并在多个数据集上实现了优于现有方法的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

论文题目：FuseSeg: Semantic Segmentation of Urban Scenes Based on RGB andThermal Data Fusion

论文下载：http://ieeexplore.ieee.org.

简介：

城市场景的语义分割是自动驾驶应用的重要组成部分。随着深度学习技术的兴起，取得了巨大的进步。目前的语义分割网络大多使用单一模式的感知数据，通常是可见光摄像机产生的RGB图像。然而，当光照条件不满足时，如昏暗或黑暗时，这些网络的分割性能容易受到影

了解本专栏 订阅专栏 解锁全文 超级会员免费看
FuseSeg：RGB和热成像数据融合网络在自动驾驶领域的应用
TechWhizKid的博客
08-13 286
为了充分利用两者的优势，可以使用FuseSeg（RGB和热成像数据融合）网络来融合这两种类型的数据。通过融合RGB图像和热成像数据，FuseSeg网络可以提供更全面、准确的环境感知能力，为自动驾驶车辆的目标检测、路面分割和夜间行驶辅助等任务提供支持。不同的是，热成像数据通常以灰度图像的形式存储，并使用不同的调色板进行可视化，以反映温度分布等信息。路面分割：通过融合RGB图像和热成像数据，网络可以精确地分割出不同地面类型（如道路、人行道、草地等），从而为自动驾驶车辆提供更好的路径规划和行驶决策。
万字初探红外摄像头（下）：自动驾驶感知“响尾蛇”——长波红外热成像系统
hzgao的博客
06-06 3193
由于制造材料、工艺等因素的影响（如材料的不均匀性、掩膜误差、缺陷等），在红外焦平面阵列器件中存在不可避免的非均匀性，响应度小于焦平面器件平均响应度1/2的像元为死像元，或盲元，像元噪声大于平均噪声的2倍则为过热盲元。2024年4月29日，美国国家公路交通安全管理局（NHTSA）要求，到2029年，所有重量在10000磅（4500公斤）或以下的乘用车都要有具备对车辆和行人的AEB系统，其中，对车辆的制动最高速度是90英里/时（约149公里/时），对行人的最高制动速度是45英里/时（约72公里/时）。
可见光(RGB)-热成像(thermal)图像翻译(风格迁移)实践记录
07-24 9229
记录下可见光到红外热成像的图像翻译（风格迁移）算法实践
rgb图像和热红外图像(无深度)对齐
baidu_40840693的博客
02-14 6351
https://www.cnblogs.com/serser/p/6101422.html
FuseSeg-基于RGB和Thermal数据融合的城市场景语义分割
王北先森
09-29 1170
RGBT
热成像原理
maria5201314的博客
02-23 6934
热成像是通过非接触探测红外能量（热量），并将其转换为电信号，进而在显示器上生成热图像和温度值，并可以对温度值进行 计算的一种检测设备。 　　从物理原理来解释，就是人体是一个能够自然产生的红外辐射源，不停向周围发散和吸收红外辐射。正常的人体各部位的温度是 具有稳定性和特殊性的，不同温度有不同的热场，当某个部位出现病变或异常时，此处的血流量会发生变化，导致局部温度的改变。 红外热成像就是根据这一
FuseSeg：基于RGB和Thermal数据融合的城市场景语义分割
莫大逗比嘟嘟
04-15 1369
FuseSeg: Semantic Segmentation of Urban Scenes BasedonRGB and Thermal Data Fusion
voc-to-thermal:RGB到热力管道，生成“假”数据集进行训练
04-03
变热 RGB到热力管道，生成“假”数据集进行训练。
灰度值与热成像理解
hhb3329的博客
08-05 4572
热成像图、灰度值、温度关系理解
RTFNet：基于可见光/红外图像的城市自动驾驶道路场景语义分割
3D视觉工坊
07-10 1141
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达论文下载：https://yuxiangsun.github.io/pub/RAL2019_rtfnet.pdf代码下载：https...
西交软件成熟度宋+考什么.rar
11-09
学习如何进行软件开发，结构化的软件开发技术，CMM也就是软件能力成熟度模型，包括上课讲义、相关书籍。
红外热成像三维重建
clipp_Huang的博客
09-03 5375
首先使用双目相机获取物体的点云信息，然后使用热成像相机采集带有温度信息的热成像图像，最后将双目重建的点云映射到热成像的图像上以此来获取每个点云的温度信息。重建的过程是先使用双目结构来重建物体得到三维点云，然后使用表定的外参来将点云转换到红外坐标系下，最后将红外相机坐标系的点云反投影仪到图像上以此获得每个点云的温度颜色信息。外参标定主要是标定双目坐标到红外相机的转换，采用一个公共的标定板，采用基于PNP方法可以标定双目相机坐标到红外相机坐标系的一个转换RT。图-1 热成像内参标定。2：红外热成像外参标定，
基于深度相机的三维重建技术
热门推荐
vine_branches的专栏
04-25 3万+
三维重建（3D Reconstruction）技术一直是计算机图形学和计算机视觉领域的一个热点课题。早期的三维重建技术通常以二维图像作为输入，重建出场景中的三维模型。但是，受限于输入的数据，重建出的三维模型通常不够完整，而且真实感较低。随着各种面向普通消费者的深度相机（depth camera）的出现，基于深度相机的三维扫描和重建技术得到了飞速发展。以微软的Kinect，华硕的XTion以及因特尔的RealSense等为代表的深度相机造价低廉，体积适当，操作方便，并且易于研究者和工程师进行开发。三维重建技术
各种类型的RGB图像总结
985小菜鸡
05-19 3045
RGB系列图像包含了多个类型的图像，它们在传统的红、绿、蓝（RGB）颜色通道基础上添加了其他信息通道，以提供更丰富的图像数据。这些扩展的图像类型通常用于计算机视觉、图像处理和深度学习等领域。：添加了近红外（Near Infrared, NIR）通道，用于遥感和农业监测等领域。：包含热红外（Thermal Infrared）通道，用于夜视、监控和温度测量等应用。：加入了强度（Intensity）信息通道，通常用于光学成像和医学成像中。：包含透明度（Alpha）通道，用于图像合成和图像编辑。
多光谱（RGB-T）语义分割2019-RTFNet总结
zz937211040的博客
03-26 4106
RTFNet: RGB-Thermal Fusion Network for Semantic Segmentation of Urban Scenes 一、Overview  2019年的一篇RGB-T语义分割论文，创新点在于提出了一个新的编码器-译码器模型。实验结果表明，本文提出的RTFNet在MFNet提出的数据集中取得了目前最好的分割效果。 二、 Additional knowledge ...
基于ROS的Most Stars开源代码汇总（自动驾驶汽车+RGBDSLAMv2+ROS2+人识别与跟踪等）
zhangrelay的专栏
05-12 2万+
Star 200+https://github.com/CPFL/Autoware用于城市自主驾驶的开源软件。 http://www.tier4.jp/Autoware用于城市自主驾驶的集成开源软件，由第四层维护。支持以下功能：3D本地化3D映射路径规划路径跟随加速/制动/转向控制数据记录汽车/行人/物体检测交通信号检测交通灯识别车道检测对象跟踪传感器校准传感器融合面向云的地图连接自动化智能手机导
基于可见光、红外视频融合的夜间多目标实时检测算法
linuxface的博客
08-22 9446
    采用多帧时空窗滤波和行人热成像特征相结合的方法进行红外视频滤波；采用种子区域生长（SRG）算法进行夜间行人检测；采用红外和可见光视频融合方法增强检测效果。这些措施使得夜间运动行人检测结果更加可靠有效，行人及其所处环境信息更加清晰直观。     夜间行人检测是视频监控及运动目标检测中的重要研究内容之一。夜间光线较弱，可见光摄像机能拍摄到的目标成像信息（颜色、纹理、形状等）非常有限，如图 1...
电气完整性
csdnqiang的博客
10-15 2820
电气完整性（Electrical Integrity，简称EI）包括信号完整性（Signal Integrity，简称SI）、电源完整性（Power Integrity，简称PI）和电磁完整性（Electromagnetic Integrity，EMI）。 信号完整性与信号完整性问题： 信号完整性就是信号从发送端发出，经过传输路径到达接收端后仍能保持可分辩的完整或相对完整的信号现象。 经过的传输路径有可能是传输线、电阻、电容、电感等。例如：发送芯片产生1GHZ的方波信号经过传输路径传输后，接收芯片仍能通过判
多光谱（RGB-T）语义分割第二个数据集-PST900论文解读
zz937211040的博客
03-26 4583
PST900: RGB-Thermal Calibration, Dataset and Segmentation Network 一、Overview  RGB-T语义分割可以应用于机器人自主环境感知领域（医学、农业、自动驾驶等等）。本文提出了第二个RGB-T数据集PST900以及一种新的RGB-T语义分割网络。实验表明，本文提出的模型在PST900中取得了目前最好的分割效果，但是在MFNet提...
rgb图像和红外热成像图像融合
最新发布
05-06
### RGB图像与红外热成像图像融合技术 #### 技术方法概述 RGB图像和红外热成像图像的融合旨在综合两者的优点，提升目标识别能力和环境适应能力。常见的融合方法可分为三大类：空间域方法、变换域方法以及基于学习的方法。 1. **空间域方法** 加权平均法是一种简单有效的空间域融合策略，通过对两个输入图像赋予不同的权重来实现融合[^1]。这种方法计算简便，但在复杂场景下的效果有限。 2. **变换域方法** 变换域方法利用数学变换提取图像的重要特征并进行融合。常用的小波变换能够捕捉图像的空间频率特性，在保持边缘信息的同时减少噪声干扰[^1]。此外，离散余弦变换（DCT）也被广泛应用于图像压缩和融合领域。 3. **基于学习的方法** 基于深度学习的图像融合近年来取得了显著进展。例如，通过训练一个从可见光（RGB）到红外热成像（Thermal）的Image-to-Image模型，可以有效解决传统方法难以应对的一些挑战，如温度信息无法直接由RGB像素表征的问题[^2]。然而，这类方法依赖大量高质量标注数据，并且对硬件资源有较高要求。 #### 工具与算法推荐 以下是几种常用的工具和技术用于实现RGB与红外热成像图像的融合： 1. **MATLAB工具箱** MATLAB提供了强大的信号处理和图像分析功能，适合快速验证各种融合算法的效果。例如，《图像融合》一文中提到的基于Laplace分解的图像融合方法可以在MATLAB环境中轻松实现[^3]。 2. **Python库支持** 使用OpenCV和NumPy等开源库可以帮助开发者高效地完成图像读取、预处理及初步融合操作。对于更复杂的任务，则可以借助TensorFlow或PyTorch构建端到端的学习型融合系统[^4]。 3. **自定义框架设计** 针对特定需求，还可以开发专用软件包或者继承现有解决方案加以改进。《机器视觉工程师如何进行红外热成像应用》中展示了一个名为`ThermalImageProcessor`的类实例，它涵盖了从图像加载直至最终结果导出的所有必要环节。 ```python import cv2 import numpy as np def fuse_images(rgb_image, thermal_image): """ A basic example of fusing an RGB image with a thermal one using weighted averaging. Parameters: rgb_image (numpy.ndarray): The input RGB image array. thermal_image (numpy.ndarray): The corresponding thermal image array. Returns: fused_image (numpy.ndarray): Fused output image. """ alpha = 0.5 # Weight factor for the fusion process if len(thermal_image.shape) == 2: # Ensure grayscale thermal matches color channels count thermal_image = cv2.cvtColor(thermal_image, cv2.COLOR_GRAY2BGR) fused_image = cv2.addWeighted(src1=rgb_image.astype('float'), alpha=alpha, src2=thermal_image.astype('float'), beta=(1-alpha), gamma=0) return fused_image.clip(0, 255).astype(np.uint8) ``` 以上代码片段展示了如何采用加权平均的方式将两张不同类型的照片结合起来形成新的合成版本。 --- #### 结果评估注意事项 需要注意的是，某些情况下简单的线性组合可能会破坏原本存在的物理意义关联——特别是当涉及到伪彩色渲染时。因此建议在实际项目实施前充分考虑这些因素的影响程度及其潜在后果[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

3Ｄ视觉工坊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值