《 A center Location algorithm for tropical cyclone in satellite infrared imgaes 》论文解读

《A center Location algorithm for tropical cyclone in satellite infrared imgaes 》

作者：Pingping Wang , Ping Wang, Cong Wang, Yue Yuan, and Di Wang
点击下载.

Abstract

热带气旋中心位置确定对于强度估计和轨迹预测至关重要。但是由于其形态和结构的可变性，自动定位其中心仍存在一些挑战。深度卷积网络能够捕获图像多层次结构特征。本文在此基础上，提出了一种两步模式的中心定位方法，包括基于深度学习的目标识别和中心的综合决策。。

• 在目标检测中，考虑TCs的统计范围分布，将网络提取的全局特征和局部特征通过上采样和拼接的方法结合起来形成融合特征图。TC规模的变化由两个不同的标量输出调节。
• 通过目标检测，得到了较高的检测率和较低的误报率，为TC中心提供了初始位置。在TCs范围内，通过分割、边缘检测、圆拟合、综合决策得到最终的中心位置。
• 实验结果表明，该方法的平均经纬度误差约为0.237◦。对于处于初始阶段或耗散阶段的系统，定位结果通常优于比较算法的结果。

Introduction

1. 研究该问题的必要性

TC中心的位置是进行强度估计、TC跟踪、结构分析、气候演化等方面的重要信息。因此，有必要提高中心定位算法的客观性、准确性和稳定性。大多数定位TC中心的算法是基于高分辨率的数值天气模型(HNWM)和由雷达、卫星或其他观测方法获得的单一或连续结果。基于HNWM的算法有时不稳定。

2. 传统方法

根据气象雷达回波强度提取云的结构、组织等特征，可以确定TC中心的位置。

• Lee等人提出了一种基于速度轨迹显示的风反演算法来提取实时TC环流[12]
• Wong等人开发了一种TC旋转中心技术，使用遗传算法来寻找最佳螺旋模型[13]，[14]。
• 为了进一步提高算法的速度和精度，Wong等分析了一系列雷达反射率图像[15]-[17]得到的运动场结构中的TC中心。
• Lee等人提出了一种基于阈值、骨架提取、剪枝和图像重建的数学形态学方法来提取旋转中心[18]。
• Jin等利用特征学习和视觉显著性检测来定位TC中心[19]
  基于雷达的中心位置算法是有效的，但这些技术基于显著的形态特征，不适用于气旋形成和消散过程中螺旋云带和眼壁特征不明显的气旋识别和定位。同时，由于天气雷达的限制，很难对海洋上空形成的TC进行充分观测。

3. 提出的方法

除了精度，上述算法忽略了一个重要的问题:如何确定TC云。对于整个卫星云图，在不分解TC云的前提下定位TC中心会导致错误信息的产生和计算资源的消耗。因此，需要先检测TC云，以提高后续算法的效率和准确性。为此，我们实施两步战略。即首先识别卫星云图中的TC，然后进行更精确的中心定位方法。卫星图像中TCs的纹理特征变化很大，也很复杂。要把它们抽象成具有代表性和排他性的特征是很有挑战性的。识别特征描述符的设计仍然是一个挑战。近年来，随着深度学习的快速发展，特征提取已经不再是手工设计的特征，而是交付给具有强大特征学习能力的深度卷积神经网络(deep convolutional neural network, CNN)。有学者基于给定的“中心”生成边界框，然后基于cnn进行二值化分类，将该边界框内的

Methodology

主要贡献：

1. 将深度学习引入到TC检测中。提出了一种新的基于卷积网络和IP算法的TC中心定位框架，该框架可处理多种气旋场景
2. 应用了多尺度特征检测模块的OS(one-stage)检测框架。利用深卷积网络对多云进行处理，构建两种不同尺度的多尺度融合特征。cnn可以通过强大的特性学习能力提取云特性，而不是手工设计特性.
3. IP(image processing) 算法可以根据TC形态学来确定中心位置。通过阈值分割、边缘检测和圆检测来精确定位TC中心，提高了特定类型TCs的精度
   将one-stage目标检测模型和IP方法进行结合确定TC中心综合定位算法OSIP。主要过程下图所示。因为TC主体多为圆形，标注样本中采用同心圆多尺度正方形边盒来处理TC尺度的变异性。包围框的中心来自中国气象局TC数据库，OS框架的主要任务是输出TC检测框，中心作为TC中心的位置。根据TC中心的局部形态特征，构造一种综合算法，将初始位置调整为精确位置。
   

1. 建立卫星数据集用于TC中心定位

本文使用的数据集包括卫星红外图像和TCs最佳跟踪数据集。我们的数据集如下:1)从风云气象卫星采集数据。2)统一数据格式，对图像进行数据插值。3)使用最佳轨迹信息为这些图像生成标签
1）图像数据：该卫星每一时刻的原始数据，110 - 165 -◦E和0 -55 -◦N部分，并转换为二维阵列数据，分辨率为0.04×0.04◦地理Lat/Lon投影。在变换过程中，将原始亮度温度线性映射到0 ~ 255灰度图像范围。
2）Best-track data：本研究中的TC在北太平洋西部地区产生或过境，其生活史至少为48 h。
3）TC边界盒标注方法：虽然目标检测网络可以考虑边界盒周围的信息，但是当边界盒过小时，学习到的特征可能不完整，当边界盒过大时，可能会受到背景信息的干扰。针对TC标度的不一致，设计了一种多盒生成方案。
先验的锚点数为6，这些框的中心坐标定位为TC中心。6个锚先验分别为80×80、100×100、120×120、150×150、180×180、200×200。盒子的长度从320公里、400公里到800公里不等。将原始的1375×1375卫星云图缩放为416×416作为本文目标检测网络的输入。将上述6个锚先验均匀地分别缩放为24×24、30×30、37×37、45×45、54×54、61×61。如下图所示，白色标记的为最优框。

2. 多尺度特征提取和融合

首先，基于深度神经网络提取云图像的多尺度特征。然后根据尺度特征形成多层融合特征，最终进行TC检测。

1) TC的多尺度特征提取

旋风云具有独特的宏观形态、局部成分特征和非刚性特性，很难构造出明确的普遍特征。卷积可以捕获图像的不明确特征，并通过多阶下采样从低阶到高阶构造多阶特征。具体来说，构建了一个较好的特征提取网络Darknet-53，如图3(a)所示。除了最后一个完全连接层，还有53个没有任何池化层的卷积层。该网络由一系列卷积(Conv)块和残差(Res)块组成。
a）Conv Block：Conv块的组成如图3(b)所示。在每个卷积层之后加入批处理归一化(BN)层，解决了训练过程中的梯度消失和梯度爆炸问题。泄漏的ReLU (LR)被用作每个卷积层的激活函数。在正向传播过程中，通过调整convolutional stride将feature map的大小减小了一半。经过5次缩减，feature map被缩减为原始输入大小的1/25(1/32)，因此输入图像的长度需要是32的倍数。在本文中，输入图像的大小为416×416。
b）Res Block：每个Res块包含一个1×1的Conv块、一个3×3的Conv块和一个跨越两个Conv块的直通链路，如图3©所示。为了提高深度条件下的网络性能，使深度网络的训练更容易，Darknet-53采用23个Res块(1 + 2 + 8 + 8 + 4)。

2) OS网络中的多尺度特征融合

不同层的特征包含关于对象的不同全局和详细信息。将上采样的深部特征与浅层特征相结合，得到多个plurality结果，如图4(A)所示。Conv集模块是Conv块与卷积核大小分别为1×1和3×3的叠加，如图4(b)所示。上采样块用于将高级特征的维度调整到与低级特征的维度相同的尺度。连接(Concat)块用于合并这些特性。该融合网络对不同尺度的TC覆盖具有较强的特征表示能力。

在融合特征末端使用两个不同尺寸和灵敏度的预测检测器来适应不同尺寸的目标。(1)在layer c_7中加入TheConv集和Conv块，生成深度最深的feature map，该feature map充满高层上下文和语义信息。第c_6层的维数是第c_7层的2倍，这意味着更详细。将最深入的feature map向上采样，然后与c_6 byConcat block合并。对融合后的特征进行多次卷积运算，形成第一次尺度预测。(2)上融合图在上采样和相同卷积后，通过相同的拼接方法与c_5合并，进行第二次尺度预测。

由于在本文的检测目标中没有出现异常大的目标，所以我们放弃了用最深层的特征直接对目标进行预测。通过特征融合策略，网络更加注重细节和效率。更适合于小物体的检测。多尺度特征融合后，网络输出张量的维数为S×S×n。用S表示feature map的大小，如预测1的S= 26，预测2的S=52。每个比例尺feature map上的每个点都需要预测B boxes(在本文中B = 3)。B锚先验是预测2中的(24,24)、(30,30)和(37,37)，预测1中的(45,45)、(54,54)和(61,61)。网格单元除了预测长度、宽度、左上角坐标四个位置参数和一个目标置信度信息外，还需要预测TC发生的概率。因此，N= 6×B = 18。

3 基于对象物理特征的TC中心定位

基于OS网络的目标检测可以准确地将TCs与大型云群分离。然而，对于只定位一个点，深度学习的结果有时不是很准确。因此，为了精确定位，有必要增加根据物理特性设计的IP算法。在云图像中显示了TCs的三个物理特征。(a) TC主云与其外部云的密度差异显著。(b) TC主云和眼区一般为圆形。©眼区周围的环状区域云密度均匀，与眼区云密度差异显著。据此形成了TC中心的定位算法。

1）TC主云及其边缘的提取

首先需要从复杂云中分割出主要的TC云，图5(a)给出了两个基于OS模型检测到的TC对象示例。不同的云在云图像中有不同的灰度表示。选择阈值分割，首先分离TC对象和背景。根据上述特征(a)， TC主云密集，灰度图像中亮度高。外部云是相对松散的灰色色调和不规则的边缘。在后续步骤中，只需要将TC的明亮部分分离。对于外部，特别是边缘，不需要特别精确的分割。OTSU[41]以背景与目标的类间方差作为评价因子，迭代找到方差最大对应的分割阈值。OTSU是一种计算简单的自适应阈值分割方法。该方法不受图像亮度和对比度的影响，能很好地分割主TC云。在二值分割后，使用交叉结构元素进行的侵蚀以消除边缘的毛刺，结果如图5(b)所示。

二值化图像经过阈值分割后，既保留了眼部区域的轮廓，又消除了云图像中大量的细微纹理。因此，通过边缘提取算子可以实现眼睛轮廓和TC边界的提取。本文选择Canny[42]边缘检测算法，步骤如下:
(1)对图像进行高斯滤波平滑处理。
(2)计算图像中每个像素的梯度强度和方向。
(3)采用非最大抑制，将局部最大值以外的梯度值全部抑制为0。
(4)对梯度值较弱的边缘像素进行滤波，保留梯度值较高的边缘像素。
(5)抑制孤立的低阈值点。图5©中的白线是Canny算法的结果。

2)检测圆并滤除噪声圆:

根据上述(b)特性: TC主云与眼区一般为圆形，对于TCs, TC的主体近似为圆形，灰度较为稳定。采用霍夫圆变换对边缘图像进行拟合。霍夫的基本思想是图像上的每一个非零像素都可以是一个潜在圆上的一个点。可以生成一个关于圆心和圆心半径的参数空间。计算参数空间中每个点的投票数。设置阈值，得到被检测圆的圆参数。将这些参数绘制在原始图像上，得到圆拟合结果。具体地说，笛卡尔坐标系下的圆方程为 ：

圆心$(a,b)$和半径$r$称为圆参数。$xOy$坐标系中的每个非零像素映射到$abr$参数空间中的一个三维曲线。在$xOy$坐标系中同一圆上的点具有相同的参数，在$xOy$坐标系中来自同一圆的曲线可以相交于同一点。因此，通过$abr$空间中某一点的曲线数等于原图像中同一圆上的点数。圆的参数由$abr$空间的交点提供。过滤掉$abr$中交点个数小于一定阈值的圆。小圆阈值:最大半径= 20，最小半径= 1，交点个数> 15。大圆阈值:最大半径= 90，最小半径= 30，交叉点个数> 20。将圆检测算法在白色边缘上进行，得到图5©中的红色圆。与眼区C1相比，位于主云区域外的C3被视为一个噪声圆，通过判断其是否被主云包围可以对其进行滤波。

3) 定位TC中心

利用霍夫圆变换确定TC中心。滤除噪声圆后，有四种情况:只有小圆、小圆被大圆包围、只有大圆和没有圆。对于第一种和第二种情况，假设有一个小圆表示实际的TC眼，下面的算法根据特征©来寻找这个圆。
步骤1：在灰度云图像上对检测到的小圆分别生成半径为$r+10$和$r+20$的同心圆(r为Hough检测到的半径)，记为$Ci1$和$Ci2$，如图5(d)所示。
步骤2: 计算$Ci$区域的平均值$a_1$和标准差$u_1$，计算$Ci2-Ci1$区域的平均值$a_2$和标准差$u_2$。平均值和标准差分别用于测量眼区周围云的平均和弥散明亮度温度。
步骤3: 如果小圆是TC风眼，$a_1$, $u_1$和$u_2$ 应该小，$a_2$应该大。因此, 判断TC风眼规则的过程如公式7所示。$\varphi$是惩罚系数。当$a$大于阈值$T$时，将小圆的圆心作为TC中心的候选点。如图5(d)所示，圆$C1$的圆心为TC中心的候选点。$\varphi =0.5$,$T=50$。

对于第二种和第三种不符合肉眼判断规则的情况，考虑到涡旋具有强大的破坏性，且整体形状近似圆形，因此采用大圆拟合无眼TC的整体形状。如果此大圆的半径与TC云壁的尺度相似(本文的半径为30-90)，则此大圆的圆心为TC中心的候选点，如图5(d)中C点所示。

对于第四种情况和其他三种不满足TC中心确定条件的情况，循环检测无法给出TC中心的位置。

4）综合决策

对于一些特别松散的组织结构，很难找到一个通用的描述符来概括其结构，所以使用目标检测结果的中心进行定位。我们得到了深度学习的初步定位，TC风眼的定位，无风眼TC的定位。这三个结果分别表示为$p_{deep}$, $p_{3}C$, $p_0$。为了使这些定位结果相互支持、相互补充、相互制约，以达到准确定位的目的，设计了三条规则:

• 如果根据TC眼的情况有多个$p_{3}C$，则选择圆圈内外灰度差(值$a$)最大的$p_{3}C$。如果d($p_{3}C$,$p_{deep}$) < $sigm{a}_1$ (sigma_1为小正数)，则$p_{3}C$为TC的中心
• 如果没有$p_{3}C$，但有一个或多个$p_0$，且$d(p_{0i},p_{deep})$ < $sigm{a}_2$ ($sigm{a}_2$是个小正数，i = 1,2，…)，则取面积最大的$p_{0i}$作为TC中心。
• 如果规则(1)和规则(2)不给出位置结果，则取$p_{deep}$作为TC中心。