2023卫星视频综述论文Recent Advances in Intelligent Processing of Satellite Video

1.摘要

卫星视频的智能处理侧重于通过智能图像/视频处理技术，从地球观测视频中提取地面对象和场景的特定信息，这在交通监控、资源监控和环境监测等领域具有重要应用。深度学习技术在卫星视频处理中的融合已经在对象检测和对象跟踪等任务上取得了显著进展，并扩展到了卫星视频场景分类和对象分割等新兴研究领域。然而，目前在卫星视频智能处理方面尚缺乏全面的综述和总结。本文对过去十年发表的成果进行了系统综述和定量分析，旨在进一步推动卫星视频智能处理任务的发展。文章分析了各个任务的当前困难、挑战以及方法体系。此外，文章还对每个任务的公开数据集和评估基准进行了深入分析和总结，并介绍了经典算法的性能和应用场景。最后，本文总结了当前的研究现状，并展望了未来的发展趋势，希望能够激励相关领域的研究人员，共同推动卫星视频智能处理的发展。

2.引言

卫星视频智能处理的研究概述

引言
航天技术的发展使得卫星能够对地球进行观测。吉林-1号和Sky-Sat系列等视频卫星的出现，使视频卫星逐渐成为地球观测的重要手段，吸引了各个领域的广泛关注。与传统的卫星遥感图像相比，视频卫星成像可以实现更广泛的观察。更重要的是，它可以在观察区域内连续实现成像，并获取高时间分辨率的地球观测动态信息。因此，视频卫星成像在交通、安保、灾害监测、资源和环境等领域具有重要应用。利用视频卫星地球观测数据进行目标检测、目标跟踪、目标分割、场景分类等基于人工智能的任务的研究，已成为遥感领域的前沿热点[1][2]。2013年前，大多数卫星视频的研究主题主要围绕卫星视频编码、卫星视频通信和卫星视频流媒体展开。之后，多个地球观测视频卫星和卫星星座相继发射。自2013年以来，Planet Labs相继发射了Skysat-1、Skysat-2和Skysat-C视频卫星。Skysat-1是第一颗亚米级视频卫星，具有1.1米的空间分辨率和30帧/秒（FPS）的时间分辨率，能够捕捉高质量的黑白可见光图像。Urthecast利用国际空间站（ISS）发射了世界首个空间全色视频相机Iris，空间分辨率为1米。长光卫星公司也在2015年至2018年间发射了吉林-1号视频01-08卫星，这些卫星是北美以外首个具有1.13米空间分辨率的空间全色视频相机。珠海01和02视频卫星分别在2017年和2018年发射。齐鲁04视频卫星在2021年发射，空间分辨率优于0.7米。武汉大学在2023年发射了洛伽-3视频卫星，实现了卫星在轨实时处理技术的突破。

随着以上系列视频卫星和卫星星座的成功发射及在轨运行，能够获得越来越多的高时间分辨率的卫星视频地球观测数据。改进的时间分辨率提高了一些传统遥感应用的时效性，如灾害监测、海洋监测和生态系统干扰监测。它使得交通情况监测等传统遥感无法很好完成的应用成为现实[3][4]。这些应用需要超分辨率重建、移动目标检测、识别和跟踪等关键技术的支持。因此，研究这些技术变得至关重要。迫切需要对全球热点和感兴趣的移动目标进行智能实时监测，利用大量卫星视频数据中的动态信息。

随着人工智能计算能力的显著提升，深度学习（DL）已迅速应用于计算机视觉、自然语言处理和卫星遥感图像处理等多个领域。卫星视频数量的快速增加也使得数据驱动的DL技术能够应用于卫星视频的智能处理。近年来，DL算法已迅速发展，用于智能处理任务如目标检测、目标跟踪和运动估计，以及卫星视频的超分辨率。同时，许多优秀的工作涌现，吸引了学术界和工业界的广泛关注。还有许多新兴的研究方向，如卫星视频场景分类（SVSC）和目标分割。

如图1所示，卫星视频目标跟踪的研究分为基于相关滤波和基于深度学习两种方式。Du等[5]首次在2018年使用基于相关滤波的方法解决了单目标跟踪（SOT）问题。Shao等[6]在2019年提出了一种基于深度学习的PASiam方法来解决SOT任务。Ao等[7]在2020年首次提出了一种名为Tracking City-Scale Moving Vehicles From Continuously Moving Satellite（TCSM）的网络，用于解决多目标跟踪（MOT）任务。对于卫星视频目标检测任务，主要有三种方法：背景建模、帧间差分和基于深度学习的方法。Kopsiaftis和Karantzalos[3]在2015年首次研究了卫星视频目标检测，采用背景建模进行车辆检测，并进一步实现了交通密度估计。2018年，Liu等[8]首次应用单次多框检测器（SSD）有效实现了卫星视频中的飞机检测。Zhong等[9]在2022年提出的时空双分支网络（STDBN）对单架飞机和火车在卫星视频中的分割表现出有效性。Zhang等[10]进行了基于吉林-1号数据的首个DL卫星视频超分辨率（VSR）研究，到2022年出现了更多与卫星VSR相关的工作。Gu等[11]在2020年提出了首个SVSC工作。随后，卫星视频目标分割（VOS）、运动估计和内在分解等一系列新兴方向出现。截至2022年，卫星视频智能处理研究的许多方面仍处于初级阶段，仍有很多探索和发展的空间。

卫星视频地球观测仍面临几个问题。一方面，视频卫星成像存在光照变化大、前景和背景严重不平衡、目标尺度差异显著和空间分辨率不足等问题，这些都是由于其俯视成像模式和探测器性能造成的。设计与视频卫星成像机制和特点完全融合的特定算法，以解决目标跟踪、检测、超分辨率和分割等多个任务的低准确性和差鲁棒性问题，以及不同任务的个体问题，是一大挑战。另一方面，时间信息是卫星视频数据的独特特征。尽管卫星视频数据中存在大量冗余，但如何充分利用卫星视频中的时间动态信息和背景不变信息，以优化模型性能，也是一个重大难题。为了推动智能卫星视频处理的发展，本文对当前智能卫星视频处理的工作进行了综述和多维量化。此外，本文还汇总和分析了公开数据集的评估结果、方法的优缺点、应用场景和未来研究方向。希望本文能够为该领域的研究人员提供有关卫星视频智能处理的全面综述。本文的工作可以总结如下：

1. 本综述全面回顾了与卫星视频智能处理相关的工作。我们进行多维量化统计，分析研究热点和趋势。
2. 总结了当前在卫星视频智能处理中的困难和挑战，以及不同任务（如目标检测、目标跟踪、超分辨率、场景分类和目标分割）的研究方法体系。
3. 本综述汇总了公开数据集、评估结果，并分析了每个卫星视频智能处理任务的基准方法的优缺点。
4. 本综述分析了卫星视频智能处理任务的应用场景和挑战，并展望了未来的研究方向。

本文的其余部分组织如下：第二节展示了对卫星视频领域现有文献和相关研究结果的统计和定量分析，以可视化现有研究工作的分布和发展趋势。第三节详细分析了卫星视频领域的困难和挑战。第四节详细描述了特定任务的方法论。第五节调查了卫星视频领域现有的公开数据集及对应的实验结果。第六节和第七节分别介绍了卫星视频的典型应用场景，并展望了未来的研究方向。最后，第八节总结了本文内容。

3. 文章的定量分析

本节主要基于Web of Science（WOS）和中国知识网络（CNKI）对卫星视频智能处理的研究趋势和热点进行系统分析。WOS包含了超过12400本权威且高影响力的国际学术期刊，涵盖自然科学、工程学、社会科学、艺术与人文等多个学科，属于三个主要引文系统（SCIE、SSCI和A&HCI）。检索条件设定为（标题=卫星视频）AND（时间=2014–2022），最终通过人工筛选获得了119篇关于卫星视频智能处理的有效文章。CNKI包含中国期刊文章、学位论文和专利的数据库。检索条件设定为（主题=卫星视频）AND（时间=2014–2022），通过人工筛选获得了36篇有效文章。

图2显示了已发布文章的定量分析。文章数量自2015年以来整体呈逐渐增长趋势，2022年增幅迅速，达到了50篇。

接着，我们对不同期刊或会议上发表的文章进行了统计分析。根据WOS和CNKI的检索结果，如表I所示，《IEEE地球科学与遥感学报》（IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING）、《遥感》（Remote Sensing）、《IEEE国际地球科学与遥感学研讨会》（IEEE International Geoscience and Remote Sensing Symposium）和《IEEE地球科学与遥感学通讯》（IEEE GEOSCIENCE AND REMOTE SENSING LETTERS）是发表文章最多的四个期刊/会议。其中，《IEEE地球科学与遥感学报》和《遥感》上发表了26篇文章，占总数的20.8%。这四本期刊的总文章数接近所有文章的一半。

此外，根据WOS，本节还对2014–2022年间卫星视频智能处理的几个主要研究方向进行了统计分析。检索条件设定为（（标题=卫星视频）AND（标题=跟踪））、（（标题=卫星视频）AND（标题=检测））、（（标题=卫星视频）AND（标题=分割））、（（标题=卫星视频）AND（标题=场景分类））以及（（标题=卫星视频）AND（标题=超分辨率））。图3(a)显示了不同方向的已发布论文和专利数量。目标跟踪和目标检测的相关工作数量最多，分别为48篇和35篇论文，以及17项和10项专利。其他新兴方向的相关工作数量不足。

同样，根据CNKI，本节还展示了2014–2022年间卫星视频智能处理的几个主要研究方向的统计分析（见图3(b)）。检索条件设定为（主题=卫星视频）。目标跟踪和目标检测的相关工作数量最多，分别为12篇和14篇论文，以及20项和14项专利。

此外，基于WOS的关键词趋势和热点分析，图4可视化了卫星视频智能处理领域的研究热点分布；目标跟踪是主要的热点方向，而深度学习（DL）和基于卫星视频的特征提取也是重要的研究热点。超分辨率、目标检测和车辆检测是下一个热点。紧随其后的是分割、分类和运动估计，这些领域的热度逐渐上升。一些从这些方向衍生的方法技术，如光流、卡尔曼滤波、相关滤波和视频编码，也引起了关注。

图5显示了WOS基于关键词的趋势分析，纵轴表示每年术语的出现次数。卫星视频、目标跟踪和深度学习在2022年的受欢迎程度显著提高。

最后，本节还研究了卫星视频领域的现有综述文章；设定检索标准为（标题=卫星视频 AND 标题=综述）OR（标题=卫星视频 AND 标题=基准）OR（标题=卫星视频 AND 标题=数据集）OR（标题=卫星视频 AND 标题=回顾）OR（标题=卫星视频 AND 标题=研究），共找到五篇综述（见表II）。文献[12]主要关注卫星视频中的目标跟踪。文献[13]提出了一种基于商业视频卫星和智能图像处理技术的城市交通监测和分析方法，并开发了基于视频卫星数据的交通密度、速度和流量的计算方法。文献[14]简要总结了移动目标检测和跟踪中的首个挑战，并详细描述了每个跟踪任务的顶级方法和结果。该挑战为卫星视频中移动目标检测和跟踪分析建立