【论文学习】Bridge-Net:结合上下文信息与图像块损失权重映射的视网膜血管分割方法

写在前面:本博客仅作记录学习之用,部分图片来自网络,如需引用请注明出处,同时如有侵犯您的权益,请联系删除!



前言

视网膜血管分割是眼科疾病(如青光眼、糖尿病视网膜病变)早期诊断的关键步骤。然而,由于以下挑战,传统方法难以实现高精度分割:

  1. 血管形态复杂:厚血管与薄血管分布差异大,且存在低对比度和病变干扰。
  2. 类别不平衡:血管像素占比远低于背景像素,尤其是薄血管易被忽略。
  3. 上下文信息缺失:现有基于图像块的方法忽略周围空间信息,导致边缘分割不准确。

论文

论文名: Bridge-Net: Context-involved U-net with patch-based loss weight mapping for retinal blood vessel segmentation

论文速递: 点我转跳哦

代码通道: 暂未公开

论文内容

方法概述:Bridge-Net与损失权重映射

预处理步骤如下所示。对于每幅图像,首先提取绿色通道,然后通过有限自适应直方图均衡(CLAHE)(Pizer等人,1987)和伽玛调整来增强图像。最后,通过标准化得到均值为零、单位标准差为零的图像。由于输入中的数值差异减小,训练结果往往不会变大,从而加速了网络的收敛。

1. 数据预处理

对于每幅图像,首先提取绿色通道,然后通过有限自适应直方图均衡(CLAHE)和伽玛调整来增强图像。最后通过标准化得到均值为零、单位标准差为零的图像。由于输入中的数值差异减小,训练结果往往不会变大,从而加速了网络的收敛。
在这里插入图片描述

2. Bridge-Net网络架构

  • 核心思想:融合卷积神经网络(CNN)和循环神经网络(RNN),利用上下文信息提升分割精度。
    在这里插入图片描述

  • 关键设计

    • 双描述图像块:每个目标区域提取两个同心块——包含上下文信息的大块(Large Patch)和无上下文的小块(Small Patch)。
      在这里插入图片描述

    大多数基于补丁的分割方法只使用与目标区域一致的补丁,忽略了周围的上下文信息。本文针对每个目标区域𝑡,提取了两个具有包容性关系的同心斑块来描述该区域。大斑块中包含的血管形态更加复杂多样,使得很难获得更好的预测结果。相反小斑块中包含的血管形态更简单,更容易训练网络。然而,小斑块包含的全局信息比大斑块少,缺乏全局信息不利于分割小斑块的边缘和一些干扰信息区域。因此将小块作为目标区域进行分割,并通过大块来补充小块缺失的全局信息。

    • 特征融合:通过RNN将大块的上下文特征与小块的局部特征结合,生成概率图。
      在这里插入图片描述
    • U-Net变体:作为特征提取器,结合收缩-扩展结构保留空间信息。

通常,U-net使用向下收缩的结构来获得更大的感受野以提高识别精度,并使用向上扩展的结构来恢复位置信息。当位置信息恢复时,收缩和膨胀的层逐渐整合,位置信息就不会损失太多,同时获得更高的识别精度。每层的跨层连接使层间短路,可以减轻梯度的消失。

2. 基于图像块的损失权重映射

  • 图像块分类:通过腐蚀、滤波和半径计算,将图像块分为厚血管主导块(TKp)和薄血管主导块(TNp),以纠正血管与背景之间的不平衡。
  • 动态权重调整
    • TKp:血管与背景权重差异较小(α=1.1,β=0.9)。
    • TNp:血管权重显著高于背景,缓解类别不平衡问题。
      在这里插入图片描述
      在这里插入图片描述

实验结果

性能对比(部分指标)

在这里插入图片描述
在这里插入图片描述

优势分析

  • 稳定性强:在包含病理图像的STARE和薄血管居多的DRIVE上均表现稳定(标准偏差<0.01)。
  • 抗干扰能力:在低对比度和病灶干扰区域(见图2)中,误检率显著低于U-Net和RU-Net。

主要贡献

  1. 上下文信息融合:通过RNN传递全局信息,提升边缘和复杂区域的分割效果。
  2. 动态损失权重:根据血管类型调整权重,改善薄血管的检测能力。
  3. 多数据集验证:在STARE、DRIVE、CHASE_DB1和HRF数据集上表现优异,AUC最高达0.9901。

结论与展望

  • 结论:Bridge-Net分别对有和没有上下文信息的目标区域的两个补丁进行两种描述,通过U-net生成判别特征。然后使用循环神经网络来传递上下文信息,以生成视网膜血管的概率图。并设计了一种斑块分类算法,将所有斑块分为厚血管和薄血管类别。Bridge-Net通过结合上下文信息和动态损失权重,在视网膜血管分割任务中实现了高精度与鲁棒性。
  • 未来工作:优化图像块分类算法,适应不同分辨率图像;探索更平滑的损失函数设计。

注:以上内容基于论文《Bridge-Net: Context-involved U-net with patch-based loss weight mapping for retinal blood vessel segmentation》总结,更多技术细节请参考原文。

讨论

  • 推理速度:传统的分割网络多设计一个端到端的网络,Bridge-Net使用了两个U-Net作为特征提取网络,推理速度能达到实时的要求吗?尤其是在处理高分辨率的图像时候,文中也没有给出关于推理时间的数据。

总结

总结: 视网膜血管分割对眼科疾病早期诊断至关重要,但面临血管形态复杂、类别不平衡及上下文信息缺失等挑战。Bridge-Net结合上下文信息和动态损失权重,通过两个U-Net网络生成判别特征,并使用循环神经网络传递上下文信息,生成视网膜血管的概率图。实验结果显示,Bridge-Net在多个数据集上均表现出高精度与鲁棒性。然而,关于其推理速度,尤其是在处理高分辨率图像时是否能达到实时要求,仍需进一步探讨。


互动

  • Bridge-Net使用了两个U-Net作为特征提取网络,推理速度能达到实时的要求吗?

欢迎在评论区解答上述话题,分享你的经验和疑问!

当然,也欢迎一键三连给我鼓励和支持:👍点赞 📁 关注 💬评论。


致谢

欲尽善本文,因所视短浅,怎奈所书皆是瞽言蒭议。行文至此,诚向予助与余者致以谢意。


参考

[1] Bridge-Net: Context-involved U-net with patch-based loss weight mapping for retinal blood vessel segmentation


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东荷新绿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值