参考论文解析:https://blog.youkuaiyun.com/Coralccccc/article/details/73956702
论文翻译:https://blog.youkuaiyun.com/u014264373/article/details/79581655
标题:Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification
来源:MICCAI 2017
作者:Wentao Zhu, Qi Lou, Yeeleng Scott Vang, and Xiaohui Xie
解决的问题:肿块分类
现有方法 : 多阶段集成。将mass classification分成3个模块:detection, segmentation, classification。
存在的问题:
① 除了每个模块自身的性能问题,这个框架需要单独训练每个模块。多阶段不能完全挖掘出深度神经网络的力量。
② 需要很多ground truth信息 : bbox for detection, segmentation map, mass label。标定这些GT信息,很耗人力。
③ 需要手工特征。
本文方法: end-to-end (端到端)+ multi-instance learning(MIL)
输入:乳腺图像,图像的标签(正常图像 Vs 恶性肿块图像)
输出:对于新的乳腺图像,判断它的标签
(ps. 此处正常图像包括:不含肿块图像&良性肿块图像)
本文方法具体介绍
一、MIL:
假设一个bag上有多个instance。一个instance被分类为positive,bag就被认为是positive;所有instance都被分类为negative,bag才被认为是negative。对应到乳腺图像分析上,将一个image分成多个patch。一个patch被分类为恶性肿块区域,image就被认为是恶性肿块图像;所有patch都被分类为正常乳腺组织,image就被认为是正常图像。于是,本文只考虑image上是恶性肿块概率最大的那个patch,它的良恶性就决定了整幅图像的性质。
如何利用MIL:它是基于原始整个乳房X光图片进行分类。它将每个乳房X光照片的patch看做示例,将整个乳房X光照片看做a bag of instances即上面说的包。那么这个分类问题可以看做是标准的MIL问题。
二、方法的整个过程(如图所示)
作为一个实例,整个乳房X线照片被视为一袋实例。 整体乳房X线照相分类问题可以被认为是一个标准的多实例学习问题。 因此,我们提出了三种不同的方案,即最大池 maxpooling,标签分配 label assignment和稀疏性sparsity,为整体进行深入的多实例学习乳房X线照片分类任务.
网络结构:多个卷积层,一个线性回归层,排序层,多实例损失层
1) 预处理,将乳腺区域分割出来。
- 首先使用大津方法(类内方差最小,类间方差最大)来移除背景同时resize到227*227
2)用CNN对图像提取特征。此处用的是AlexNet,提取的是它最后一个卷积层,也就是第五个卷积层的特征。由于AlexNet的输入大小限制,这里将图像resize成227*227的,经过Alex-net的5个卷积层后,得到256个6*6的feature map。
- 使用AlexNet中的卷积层,提取它最后一个卷积层的特征。最后会得到6*6*256的feature map---》变成6*6*1的feature <