写在前面:本博客仅作记录学习之用,部分图片来自网络,如需引用请注明出处,同时如有侵犯您的权益,请联系删除!
文章目录
前言
视网膜血管分割是眼科疾病(如青光眼、糖尿病视网膜病变)早期诊断的关键步骤。然而,由于以下挑战,传统方法难以实现高精度分割:
- 血管形态复杂:厚血管与薄血管分布差异大,且存在低对比度和病变干扰。
- 类别不平衡:血管像素占比远低于背景像素,尤其是薄血管易被忽略。
- 上下文信息缺失:现有基于图像块的方法忽略周围空间信息,导致边缘分割不准确。
论文
论文名: Bridge-Net: Context-involved U-net with patch-based loss weight mapping for retinal blood vessel segmentation
论文速递: 点我转跳哦
代码通道: 暂未公开
论文内容
方法概述:Bridge-Net与损失权重映射
预处理步骤如下所示。对于每幅图像,首先提取绿色通道,然后通过有限自适应直方图均衡(CLAHE)(Pizer等人,1987)和伽玛调整来增强图像。最后,通过标准化得到均值为零、单位标准差为零的图像。由于输入中的数值差异减小,训练结果往往不会变大,从而加速了网络的收敛。
1. 数据预处理
对于每幅图像,首先提取绿色通道,然后通过有限自适应直方图均衡(CLAHE)和伽玛调整来增强图像。最后通过标准化得到均值为零、单位标准差为零的图像。由于输入中的数值差异减小,训练结果往往不会变大,从而加速了网络的收敛。
2. Bridge-Net网络架构
-
核心思想:融合卷积神经网络(CNN)和循环神经网络(RNN),利用上下文信息提升分割精度。
-
关键设计:
- 双描述图像块:每个目标区域提取两个同心块——包含上下文信息的大块(Large Patch)和无上下文的小块(Small Patch)。
大多数基于补丁的分割方法只使用与目标区域一致的补丁,忽略了周围的上下文信息。本文针对每个目标区域𝑡,提取了两个具有包容性关系的同心斑块来描述该区域。大斑块中包含的血管形态更加复杂多样,使得很难获得更好的预测结果。相反小斑块中包含的血管形态更简单,更容易训练网络。然而,小斑块包含的全局信息比大斑块少,缺乏全局信息不利于分割小斑块的边缘和一些干扰信息区域。因此将小块作为目标区域进行分割,并通过大块来补充小块缺失的全局信息。
- 特征融合:通过RNN将大块的上下文特征与小块的局部特征结合,生成概率图。
- U-Net变体:作为特征提取器,结合收缩-扩展结构保留空间信息。
- 双描述图像块:每个目标区域提取两个同心块——包含上下文信息的大块(Large Patch)和无上下文的小块(Small Patch)。
通常,U-net使用向下收缩的结构来获得更大的感受野以提高识别精度,并使用向上扩展的结构来恢复位置信息。当位置信息恢复时,收缩和膨胀的层逐渐整合,位置信息就不会损失太多,同时获得更高的识别精度。每层的跨层连接使层间短路,可以减轻梯度的消失。
2. 基于图像块的损失权重映射
- 图像块分类:通过腐蚀、滤波和半径计算,将图像块分为厚血管主导块(TKp)和薄血管主导块(TNp),以纠正血管与背景之间的不平衡。
- 动态权重调整:
- TKp:血管与背景权重差异较小(α=1.1,β=0.9)。
- TNp:血管权重显著高于背景,缓解类别不平衡问题。
实验结果
性能对比(部分指标)
优势分析
- 稳定性强:在包含病理图像的STARE和薄血管居多的DRIVE上均表现稳定(标准偏差<0.01)。
- 抗干扰能力:在低对比度和病灶干扰区域(见图2)中,误检率显著低于U-Net和RU-Net。
主要贡献
- 上下文信息融合:通过RNN传递全局信息,提升边缘和复杂区域的分割效果。
- 动态损失权重:根据血管类型调整权重,改善薄血管的检测能力。
- 多数据集验证:在STARE、DRIVE、CHASE_DB1和HRF数据集上表现优异,AUC最高达0.9901。
结论与展望
- 结论:Bridge-Net分别对有和没有上下文信息的目标区域的两个补丁进行两种描述,通过U-net生成判别特征。然后使用循环神经网络来传递上下文信息,以生成视网膜血管的概率图。并设计了一种斑块分类算法,将所有斑块分为厚血管和薄血管类别。Bridge-Net通过结合上下文信息和动态损失权重,在视网膜血管分割任务中实现了高精度与鲁棒性。
- 未来工作:优化图像块分类算法,适应不同分辨率图像;探索更平滑的损失函数设计。
注:以上内容基于论文《Bridge-Net: Context-involved U-net with patch-based loss weight mapping for retinal blood vessel segmentation》总结,更多技术细节请参考原文。
讨论
- 推理速度:传统的分割网络多设计一个端到端的网络,Bridge-Net使用了两个U-Net作为特征提取网络,推理速度能达到实时的要求吗?尤其是在处理高分辨率的图像时候,文中也没有给出关于推理时间的数据。
总结
总结: 视网膜血管分割对眼科疾病早期诊断至关重要,但面临血管形态复杂、类别不平衡及上下文信息缺失等挑战。Bridge-Net结合上下文信息和动态损失权重,通过两个U-Net网络生成判别特征,并使用循环神经网络传递上下文信息,生成视网膜血管的概率图。实验结果显示,Bridge-Net在多个数据集上均表现出高精度与鲁棒性。然而,关于其推理速度,尤其是在处理高分辨率图像时是否能达到实时要求,仍需进一步探讨。
互动
Bridge-Net使用了两个U-Net作为特征提取网络,推理速度能达到实时的要求吗?
欢迎在评论区解答上述话题,分享你的经验和疑问!
当然,也欢迎一键三连给我鼓励和支持:👍点赞 📁 关注 💬评论。
致谢
欲尽善本文,因所视短浅,怎奈所书皆是瞽言蒭议。行文至此,诚向予助与余者致以谢意。