[深度学习从入门到女装]H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volu

最新推荐文章于 2024-04-17 09:37:35 发布

原创最新推荐文章于 2024-04-17 09:37:35 发布 · 2.5k 阅读

13 ·

CC 4.0 BY-SA版权

深度学习专栏收录该内容

126 篇文章

订阅专栏

该博客介绍了一篇用Unet改进进行医学图像分割的论文。传统2DUnet只能获取intra - slice特征，3DUnet内存需求大。论文提出2D与3D slice融合方法，包括ROI提取、2D DenseUnet提取intra - slice特征、3D DenseUnet提取inter - slice特征，最后用HFF层进行特征融合。

部署运行你感兴趣的模型镜像

论文地址：H-DenseUNet: Hybrid Densely Connected UNet for
Liver and Tumor Segmentation from CT Volumes

这是一篇使用Unet改进进行医学图像分割的论文
对于传统的2DUnet由于只采取单一切片进行训练，只能得到intra-slice特征，无法得到inter-slice特征，对于3DUnet直接将整个3D图像放进去，虽然可以同时得到intra inter -slice特征，但是内存不够用
因此本文提出来使用2D 3Dslice进行融合的方法
在这里插入图片描述

在这里插入图片描述

1. 感兴趣区域（ROI）提取

先使用resnet进行感兴趣区域提取，也就是得到我们需要分割器官或者肿瘤所在的切片，在本文中是得到12个切片

2. 2D DenseUnet进行intra-slice特征提取

我们使用 $\in R^{n \times 224 \times 224 \times 12 \times 1}$ ，其中n为batch_size，22424412为input volumes，Ground Truth使用 $\in R^{n \times 224 \times 224 \times 12 \times 1}$ 表示， $Y_{i,j,k}=c$ 表示像素点 $(i, j, k)$ 的类别为c(back ground,liver,tumor)

2D网络输入转换

使用 $I_{2d} \in R^{12n \times 224 \times 224 \times 3}$ 来表示2D网络的输入， $I_{2d}=F(I)$ ，F为转换函数，转换方式如下图所示
在这里插入图片描述
如上图，原本的I为12层slice，然后在最顶层和最下层分别padding一层，也就是得到14层切片，然后每三层作为一个块，最终将I分别了12块，concat到一起就成了 $I_{2d}$
$X_{2d}=f_{2d}(I_{2d};\theta_{2d}),X_{2d} \in R^{12n \times 224 \times 224 \times 64}$ 为2D DenseNet的upsampling layer5的输出
$\hat{y_{2d}}=f_{2dcls}(X_{2d};\theta_{2dcls}),\hat{y_{2d}} \in R^{12n \times 224 \times 224 \times 3}$ 为2D DenseNet的输出

3. 3D DenseUnet进行inter-slice特征提取

3D DenseUnet网络的输出为2D DenseUnet网络得到的分割图 $\hat{y_{2d}}$ 的转换
的转换 $\hat{y_{2d}}'$ 并与原始图像 $I$ 的concate $(I,\hat{y_{2d}}')$ 其中
$\hat{y_{2d}}'=F^{-1}(\hat{y_{2d}}),\hat{y_{2d}}' \in R^{n \times 224 \times 224 \times 12 \times 3}$

4.使用hybrid feature fusion (HFF) layer进行2D 3D特征融合

特征融合层输入为 $Z=X_{3d}+X_{2d}'$ 其中
$X_{2d}'=F^{-1}(X_{2d}),X_{2d}' \in R^{n \times 224 \times 224 \times 12 \times 64}$
$X_{3d}=f_{3d}(I,\hat{y_{2d}}';\theta_{3d})$
$X_{3d}$ 为3D DenseUnet中upsampling layer5层的feature map