【红外目标检测】主流红外数据集横向评测与选型指南（2024版）

1. 为什么你需要这份红外数据集选型指南？

如果你正在做自动驾驶、安防监控或者机器人视觉，尤其是涉及到夜间、恶劣天气下的目标检测，那你肯定绕不开红外图像。和可见光摄像头不同，红外摄像头感知的是物体散发的热量，所以它不怕黑、不怕雾、不怕眩光，能直接“看到”人和车这些发热体。听起来很美好对吧？但真到动手做项目的时候，第一个大坑就来了：我该用哪个红外数据集？

我刚开始做红外行人检测那会儿，也是两眼一抹黑。网上搜到的资料要么太老，要么就是简单罗列几个数据集名字，告诉你哪里下载就完了。结果呢？我兴冲冲下载了某个“经典”数据集，吭哧吭哧训练了一个月，模型在测试集上表现贼好，一放到我们自己采集的真实路况视频里，效果直接拉胯——漏检、误检一大堆。后来才明白，问题就出在数据集上：那个数据集的场景太单一，全是城市道路，而且标注的“人”都是站姿清晰的，根本没见过我们场景里那些蹲着的、被部分遮挡的、或者骑着奇怪代步工具的人。

所以，选错数据集，轻则浪费几个月时间，重则导致整个项目方向错误。这份2024版的横向评测，就是把我这些年踩过的坑、积累的经验，结合最新的数据集发展，给你掰开揉碎了讲清楚。我们不看那些虚的广告词，就实打实地从数据规模、标注质量、场景覆盖、任务匹配度这几个核心维度，把主流的红外数据集一个个拉出来遛遛，告诉你在什么情况下该选谁，怎么避坑。

2. 评测维度详解：好数据集到底长什么样？

在具体看数据集之前，我们得先统一一下“好”的标准。评测一个红外数据集，不能光看它图片多不多，得从下面这几个硬指标来综合判断。

2.1 数据规模与多样性：量变真的能引起质变吗？

“数据越多越好”这话只对了一半。对于模型训练，数据量当然是基础，但数据的多样性往往比单纯的数量更重要。一个只有一万张图但涵盖了四季、昼夜、城乡、各种天气的数据集，通常比一个五万张图但全是晴天白日城市道路的数据集更有价值。

这里说的多样性主要包括：

• 场景多样性：是只有高速公路，还是包含了城市街道、乡村小路、停车场、园区、十字路口？不同场景下的目标形态、密度、背景干扰都不同。
• 时间与天气多样性：数据集是否包含了白天、夜晚、黄昏、黎明？有没有雨、雪、雾、霾等恶劣天气下的样本？红外图像的优势就在于应对这些可见光失效的场景，如果数据集里没有，就等于自废武功。
• 目标尺度与姿态多样性：行人都是全身清晰可见的吗？有没有远近不同导致的大小变化（尺度多样性）？有没有行走、奔跑、蹲下、骑行、被遮挡（姿态与遮挡多样性）的各种状态？车辆是否包含了轿车、SUV、卡车、巴士、摩托车等不同类型？

一个简单的判断方法是，随机浏览数据集的100张图片，如果感觉场景和目标“长得都差不多”，那就要警惕其多样性可能不足了。

2.2 标注质量：模型的天花板由它决定

标注质量是数据集的灵魂，也是新手最容易忽略的地方。一个噪声大的标注集，会让模型的学习目标变得模糊不清，性能上限从一开始就被锁死了。我们需要关注：

• 标注精度：边界框（Bounding Box）是否紧密贴合目标边缘？对于行人这种非刚体，框体是否合理？我见过有些数据集，框大得能再塞进一个人，这种标注对模型定位精度伤害极大。
• 标注一致性：同一个类别的物体（比如“轿车”），在所有图片中的标注标准是否统一？有没有时而被标为“car”，时而被标为“vehicle”？对于“遮挡”和“模糊”的目标，是否有统一的处理规范（是依然标注，还是忽略）？
• 标注完整性：是否存在大量漏标（特别是小目标、边缘目标）？在密集人群或车流中，是否每个实例都被独立、准确地标注了出来？这部分检查起来最费劲，但也最关键。

一个实用建议：下载数据集后，别急着开始训练。先用标注查看工具（比如LabelImg或简单的Python脚本）随机抽查至少50张图片，肉眼检查标注框。这是避免后续返工的最有效方法。

2.3 数据格式与易用性：别在起跑线上浪费时间

理想很丰满，现实是，你可能在数据预处理上就卡了一周。数据格式是否主流（如COCO、PASCAL VOC、YOLO格式）？红外图像与可见光图像是否已经配准对齐（对于多模态任务至关重要）？文件组织结构是否清晰？有没有提供方便的数据加载脚本或示例代码？

这些“工程性”的细节，直接决定了你能否快速上手，把精力集中在模型调优上，而不是和奇怪的数据格式做斗争。

2.4 任务匹配度：没有最好，只有最合适

这是选型的核心。你的具体任务是什么？

• 纯红外检测：只需要红外图像，那么是否提供配对可见光图像就不重要。
• 可见光-红外融合检测：需要同时利用两种模态的信息，那么图像是否严格对齐、配对是否完整就是生命线。
• 侧重行人还是车辆：有些数据集行人标注丰富但车辆稀少，或者反之。
• 特定场景：是做交通监控（侧重车流），还是安防周界（侧重行人入侵），或是自动驾驶（需兼顾行人车辆且场景复杂）？

没有“全能冠军”，只有“单项最优”。接下来，我们就带着这些标尺，去衡量各个主流数据集。

3. 主流红外数据集深度横评

我们选取了目前学术界和工业界提及率最高、最具代表性的六个红外数据集进行对比。为了更直观，我先用一个表格概括它们的关键信息，后面再逐一深度分析。

数据集名称	发布年份	主要目标类别	红外图像数量	是否配对可见光	核心特点与适用场景	潜在注意事项
FLIR-ADAS-v2	2022	行人、车辆（细分类多）	~11,886	是	场景真实、类别丰富，源自真实车载数据，适合自动驾驶研发。	部分类别样本极少，需进行类别合并或重采样。
LLVIP	2021	行人	~15,488	是（已对齐）	行人专注、夜间为主，针对低光照行人检测优化，适合安防监控。	仅行人类别，无车辆，场景相对静态。
M3FD	2022	行人、车辆等	~4,200	是	挑战性场景突出，包含大量火灾、烟雾等极端干扰，适合算法鲁棒性测试。	数据总量相对较少，需注意过拟合风险。
KAIST	2017	行人	~95,328对	是	数据量巨大、历史悠久，长期作为多模态行人检测基准。	标注质量（特别是早期版本）存在争议，需使用清洗后的版本。
MSRS	2021	行人、车辆等	~1,444	是	专注于道路场景，图像质量较高，标注较为精细。	数据规模较小，更适合作为补充或微调数据集。
RGBT-Tiny	2024	行人、车辆等	~93,000帧	是（序列）	视频序列数据，包含时序信息，适合做跟踪或利用时序上下文的研究。	非常新，社区验证和基准结果尚不充分。

3.1 FLIR-ADAS-v2：面向自动驾驶的“全能型”选手

FLIR-ADAS-v2 大概是目前工业界，尤其是自动驾驶领域，最受青睐的红外数据集之一。它最大的优势在于 “真实”。数据直接来自搭载在车辆上的FLIR热成像相机，采集于真实的美国道路环境，涵盖了白天、夜晚、城市、郊区等多种驾驶场景。这意味着用它训练出的模型，更容易迁移到真实的车载红外系统上。

它的标注类别非常详细，除了常见的person、car、bike，还有motor、bus、truck，甚至包括了stroller（婴儿车）、skateboard（滑板）这类细分类别。这对于需要精细感知周边环境的自动驾驶系统来说很有价值。

但是，这里有个坑需要注意：类别不平衡问题非常严重。你看原始数据，car有7133个实例，person有4470个，但bike只有170，skateboard只有3个，stroller只有6个。如果你直接拿原始标注训练，模型几乎永远学不会检测滑板或婴儿车。在实际使用时，我通常会把bike、motor合并为“二轮车”，把stroller、skateboard等极少样本的类别暂时忽略或归入“其他”，重点保证person、car、bus、truck这几个核心类别的检测效果。此外，它的图像分辨率固定为640x512，虽然不算高，但对于车载嵌入式平台的算力来说反而比较友好。

选型建议：如果你的项目是车载红外感知、自动驾驶，FLIR-ADAS-v2应该是你的首选基线数据集。它提供了最接近产品落地场景的数据分布。建议使用时进行类别重平衡处理，并可以将其作为预训练数据集，再在其他数据上微调。

3.2 LLVIP：低光照行人检测的“专项冠军”

LLVIP 这个数据集的目标非常纯粹：解决低光照条件下的行人检测问题。它包含了大量在极暗环境下采集的、已经严格配准对齐的可见光-红外图像对。你可以非常直观地看到，在可见光图片中几乎是一片漆黑的地方，红外图片里行人轮廓清晰可见。

这个数据集只标注了“行人”这一个类别，数据量却达到了1.5万张红外图像，在行人这个单一类别上做到了足够的密度和多样性。它包含了行人站立、行走、奔跑、蹲坐、多人聚集、部分遮挡等多种状态，对于训练一个稳健的红外行人检测器来说，是非常优质的“营养”。

不过，它的局限性也很明显。首先，没有车辆，所以不适合任何需要检测车辆的任务。其次，它的场景多为固定的监控视角或手持拍摄，动态变化不如车载场景丰富，对于高速运动目标的捕捉可能不足。

选型建议：如果你的核心任务就是安防监控、周界防范、夜间巡逻机器人等以行人检测为核心的场景，LLVIP是你不二之选。你可以用它来专门提升模型在暗光、逆光下的行人检出率。对于需要行人和车辆检测的任务，可以将LLVIP与FLIR-ADAS-v2等数据集混合使用，以增强行人类别的数据多样性。

3.3 M3FD：挑战极端环境的“压力测试场”

M3FD 数据集的设计思路很有意思，它刻意包含了大量极具挑战性的场景，比如火灾、浓烟、强光眩光等。在这些极端干扰下，可见光图像基本失效，而红外图像虽然也受影响，但依然能保留部分目标信息。这为研究多模态融合算法在恶劣条件下的鲁棒性提供了绝佳的测试平台。

它的标注类别包括人、车、巴士、摩托车等，比较实用。但它的总数据量（约4200张红外图）在如今动辄上万的数据库里显得有点少。直接用它从头训练一个大模型，很容易过拟合。

选型建议：M3FD 不适合作为主力训练集，但它是极其宝贵的验证集和“压力测试”集。我的常用做法是，用FLIR或LLVIP等大数据集训练好一个基础模型，然后用M3FD去测试这个模型在火灾、烟雾等异常场景下的性能衰减程度，从而针对性改进模型（例如引入注意力机制、改进融合策略）。它能让你的模型从“温室花朵”变成“野战军”。

3.4 KAIST：历史悠久但需要“精加工”的巨量库

KAIST 是多模态行人检测领域最老牌、数据量最大的基准数据集之一，拥有超过9万对对齐的图像。它最大的优势就是“多”，涵盖了校园内各种白天夜晚的场景。很多经典的红外行人检测论文都以它为基准。

但是，KAIST的原始标注质量广为诟病。存在大量的漏标（特别是远处小目标）和标注框不准确的问题。直接使用原始标注会严重限制模型性能的上限。幸运的是，社区已经意识到了这个问题，并出现了多个“清洗”或“重新标注”的版本，例如“KAIST-Curated”等。如果你决定使用KAIST，务必去寻找并使用这些优化后的标注版本，这会为你省去无数麻烦。

选型建议：KAIST庞大的数据量对于研究型项目或需要预训练非常有用。当你需要一个海量的、只包含行人的红外-可见光对数据进行自监督预训练或初步模型训练时，使用清洗后的KAIST是不错的选择。但对于追求高精度、快速落地的工业项目，处理它的数据需要额外精力，可能不如直接从FLIR或LLVIP开始高效。

3.5 MSRS：小而美的道路场景补充

MSRS 数据集规模较小（约1400张红外图），但它的优势在于图像质量较高，且专注于道路和交通场景，标注也相对精细。它有点像FLIR-ADAS-v2的一个小型、精致的子集。

对于数据量需求不大的任务（比如一些课程设计、算法初步验证），或者当你已经有一个大模型，需要一些特定场景（道路）的数据进行微调（Fine-tuning） 时，MSRS这样高质量的小数据集就非常合适。它下载和处理起来快，能让你快速验证想法。

选型建议：将MSRS作为补充数据集或快速原型验证数据集。不建议作为唯一或主要的数据来源。

3.6 RGBT-Tiny：面向视频理解的新兴力量

RGBT-Tiny 是2024年新鲜出炉的数据集，它的最大特色是提供了对齐的可见光-红外视频序列，而不是单张图片。总计约9.3万帧，数据量可观。这对于目标检测来说，意味着你可以利用帧间的时序信息，例如通过光流或时序特征聚合来提升检测稳定性，尤其是针对那些暂时被遮挡或模糊的目标。

不过，正因为太新，围绕它的研究论文、开源基准模型和最佳实践还比较少。使用它需要自己搭建视频数据加载管道，并设计能够利用时序信息的模型，技术门槛相对高一些。

选型建议：如果你的研究或应用方向是红外视频目标检测、多目标跟踪，或者你想探索时序信息如何提升复杂场景下的检测性能，那么RGBT-Tiny是一个值得关注和尝试的前沿选择。对于标准的静态图像检测任务，目前还是优先考虑前面几个数据集。

4. 实战选型策略与组合拳

了解了每个数据集的特点后，我们来看看在实际项目中怎么搭配使用。我根据自己的经验，总结了几种常见的场景和选型策略。

场景一：自动驾驶车载全目标感知

• 核心需求：同时高精度检测行人、各种车辆，适应动态车载视角和复杂路况。
• 推荐策略：以FLIR-ADAS-v2为主力。用它的全部数据训练，但处理好类别不平衡问题。可以用LLVIP中高质量的行人数据做增强，提升行人检测的鲁棒性。最后，用M3FD作为验证集，测试模型在极端天气（模拟）下的表现。

场景二：安防监控夜间行人检测

• 核心需求：在低光照、无光照条件下，稳定检测行人，可能涉及周界报警、人数统计等。
• 推荐策略：以LLVIP为主力，充分利用其暗光行人数据的优势。可以混合部分KAIST（清洗后）的白天行人数据，让模型也能适应白天场景，避免模型只在“全黑”环境下工作。如果需要兼顾白天夜晚的车辆监控，可少量加入FLIR-ADAS-v2中相关场景的数据。

场景三：学术研究与新算法验证

• 核心需求：需要公认的基准进行公平比较，或需要特定数据验证新想法（如融合、去噪、小目标检测）。
• 推荐策略：
  • 多模态融合研究：使用KAIST（清洗版） 或 LLVIP 作为标准基准，因为社区成果多，便于对比。
  • 算法鲁棒性研究：M3FD 是必选的测试集。
  • 时序模型研究：探索 RGBT-Tiny。
  • 领域自适应研究：可以用 FLIR-ADAS-v2（作为源域）和少量自采集数据（作为目标域）进行。

一个通用的数据准备流程建议：

1. 确定核心需求：明确主攻类别和场景。
2. 选择主力数据集：根据上述场景选择1-2个主力。
3. 数据清洗与预处理：统一格式（如YOLO），检查标注质量，处理类别不平衡（过采样少样本类或合并类别）。
4. 数据增强：对红外图像特别有效的增强包括：随机亮度/对比度调整（模拟不同热灵敏度）、添加高斯噪声（模拟传感器噪声）、模拟轻微模糊（模拟运动或离焦）。注意：避免使用色彩抖动类增强。
5. 划分训练/验证/测试集：确保分布一致，特别是场景和时段的分布。
6. 考虑预训练：如果数据量仍觉不足，可以在大型可见光数据集（如COCO）或大型红外数据集（如KAIST）上进行预训练，再到你的主力数据集上微调，这往往能带来提升。

最后记住一点，没有哪个数据集能100%匹配你的真实数据。在用好公开数据集的基础上，尽早开始规划采集和标注属于自己业务场景的“小数据”，哪怕只有几百张高质量、高针对性的图片，用它来对公开数据集训练的模型进行微调，效果提升都会非常显著。红外视觉这条路，选对数据，就成功了一半。希望这份结合了实战经验的指南，能帮你少走弯路，快速找到最适合你的“红外弹药库”。