论文阅读——Multi-task Neural Networks with Spatial Activation for RVS and Artery/Vein Classification

Multi-task Neural Networks with Spatial Activation for Retinal Vessel Segmentation and Artery/Vein Classification.

Wenao Ma, Shuang Yu, Kai Ma, Jiexiang Wang, Xinghao Ding, Yefeng Zheng:Multi-task Neural Networks with Spatial Activation for Retinal Vessel Segmentation and Artery/Vein Classification. MICCAI (1) 2019: 769-778
时间：MICCAI 2019

摘要

空间域激活的多任务神经网络用于视网膜血管分割及动静脉分类
视网膜动静脉分类在临床用研究心血管疾病对视网膜血管的影响十分重要。传统的动静脉分类依赖于对视网膜血管的分割。本文提出的空间域激活额多任务网络可同时完成视网膜血管及动静脉的分割。网络的输入经过了常规的预处理，在输出模块我们引入了空间域激活机制，对于低层次特征的提取引入了监督策略，最终网络的血管分割精度达到了95.7%，动静脉分类精度为94.5%，都达到了DRIVE数据集state-of-the-art的精度，还在INSPIRE-AVR数据集上测试了动静脉分类的效果，分类精度为91.6%。

关键词：视网膜血管分割 动静脉分类 深度学习 空间激活

Section I Introduction

许多心血管疾病都对视网膜血管及动静脉有所影响，比如临床上发现视网膜动脉管腔狭窄有罹患高血压的可能，因此对动静脉进行分类有重要意义。
传统方法中动静脉的分类分两步走，第一步分割视网膜血管，随后进一步对动静脉进行分类，分类一方面可借助人工设计的特征，一方面可借鉴图像信息。但这种两步走的方法高度依赖于血管分割的效果，尤其是基于图像重构的动静脉分类，分割错误的血管会影响动静脉分类的效果。
近期已经有研究者使用全卷积神经网络FCN同时进行血管的分割和分类，但存在着动静脉像素点被分类为背景像素的情况，尤其是毛细血管。
本文提出了使用空间激活机制同时提升血管分割和动静脉分类的效果。特别之处在于我们设计了空间激活后的多任务输出，其中实现较为简单地的血管分割结果会辅助进行血管分类，尤其是对毛细血管。
Section II Method
输入3种图像：原图 IC VE，切成patch送入网络随后产生动脉、静脉、全血管的分割，最后将patch拼成分割图和分类图。
Part A 多输入模块
输入original image,IC(illumination correction），VE（vessel enhancement),vessel map使用了高斯滤波和直线检测器
Part B 空间激活的网络结构
网络架构以经典的UNet为基础，encoder模块使用了预训练的resnet架构。为了适应多输入我们在ResNet之前加入了扩展-压缩层（expanding-conpressing layer).EC层首先将输入扩展到高维度特征随后将featuremap压缩至3个通道，来匹配ResNet输入的通道数。
输出部分也采用多任务输出同时进行血管分割和动静脉分类，但如果只进行动静来分类，对于毛细血管效果不是很好，因此对动静脉的特征需要多加学习。
本文提出的框架在网络最后设计了两条平行的分支，分支1聚焦于提取常规动静脉特征，并且产生血管分割的概率图；另一条分支用于学习更具区分度的动静脉特征，两条路径输出的featuremap通过级联（concatenate）的方式用于后续的动静脉分割。
激活模块Activation Block
为了利用血管分割的信息提升AV尤其是毛细血管的分类效果，本文设计了Activation Block由下式实现，其中激活因子取1。

激活因子如此取值是因为我们观察到在概率图中毛细血管部分的像素值常常和边界背景值相近，都在0.5附近。而较粗血管常为1，背景常为0。因此通过activation map给毛细血管部分赋予更高权值、背景或粗血管较低权重来调整feature map激活的地方

Deep Supervision
本任务中将高低层次特征尽心简单融合并不十分有效，因为这两类特征资语义层面和空间分辨率上都不相同，因此想办法学习更多的低层次语义信息来帮助提升UNet的性能，为此本文在encoder部分通过在每一个ResNet block输出后增加额外的输出层引入深层监督，帮助网络提取更多的低层次语义信息同时加速网路的收敛。
采用的损失函数由3部分组成：交叉熵损失函数+监督模块的损失+权重衰减正则化项，如下式所示。

Section III 实验结果

Settings:
dataset:
AV-DRIVE 20+20=40images 584565pixels
INSPIRE-AVR 40images 20482392pixels
patch size = 64*64
lr = 0.05
test time:8s
Part A 消融实验
分别探究了multi-tasks,multi-inputs,spatial activation mechanism各模块对网络性能的贡献.测试了Accuracy,Sensitivity,Specificity和AUC四个指标。
可以看到multi-task分别将血管分割和动静脉分类提升了0.6%和0.4%；multi-input对动静脉分类有0.3%的提升；而spatial activation确实对动静脉血管分类有提升（0.6%）.而下图可以看出与baseline model进行对比，加入的MTs,MIs以及spatial activation对毛细血管的提升。
Part B 与其他模型的比较
vessel segmentation
A/V classification

Section IV Conclusion

本文提出的基于空间激活的多任务网络支持同时进行血管分割和动静脉分类，在两类任务中都取得了领先的效果，主要提升了动静脉的分类性能。未来还会测试自动生成血管相关参数的效果，期待在临床研究中的应用。

个人感觉对于spatial activation部分没有理解透彻，网络结构画的比较清晰，后续还会复读。