ViT-DeiT:用于乳腺癌组织病理图像分类的集成模型

最新推荐文章于 2024-11-06 19:50:17 发布
最新推荐文章于 2024-11-06 19:50:17 发布
阅读量1k 收藏 18
点赞数 9
分类专栏： 医学图像处理 文章标签： 分类 数据挖掘 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_47896523/article/details/137745354
版权

两种预训练Vision Transformer模型的集成模型，即Vision Transformer和数据高效视觉Transformer（Data-Efficient Image Transformer）。此集成模型是一种软投票模型。

近年来，乳腺癌的分类研究主要集中在超声图像分类、活检数据分类、组织病理图像分类。

Transformer广泛应用于自然语言处理（NLP），Transformer模型的结构包括编码器和解码器， ViT 结构中不需要解码器 。ViT结构仅由用于图像处理的编码器组成。编码器组件由归一化层、多头注意力层和前馈层组成。多头注意力是自注意力的一种，其功能是从各个方面提供对特定信息的注意力。

在ViT模型中，每个图像在输入编码器之前都会经过线性嵌入层。嵌入层会将图像划分为大小相等的块，这些块被展平为一维向量。嵌入的位置被添加到展平的补丁中，并且添加嵌入图像的类。编码器处理这些输入，从而得到输出。

然后，输出通过MLP头部结构，该结构执行分类任务。类是MLP头结构的输出，MLP头部结构由

最低0.47元/天 解锁文章
AI大模型应用入门实战与进阶：大模型在医疗影像分析中的应用
AI天才研究院
01-09 2191
1.背景介绍 医疗影像分析是一种利用计算机辅助诊断和治疗疾病的方法，主要通过对医疗影像数据进行处理、分析和挖掘，以提高医疗诊断和治疗的准确性和效率。随着人工智能技术的不断发展，大模型在医疗影像分析中的应用也逐渐成为一种主流方法。这篇文章将从入门级别到进阶级别，详细介绍大模型在医疗影像分析中的应用，包括背景、核心概念、算法原理、具体操作步骤、代码实例、未
病理数据分析：数据集和模型方法综述
BUG？不存在的！
05-03 1808
在病理图像分类中，卷积神经网络通常采用预训练的迁移学习模型（如 VGG-16、ResNet-50 等）来处理病理图像数据。本文介绍了一些常见的病理数据集和模型方法，并提供了相应的 Python 代码实现。这些方法可以用于病理图像分类、诊断和预测等方面，有助于医学界更好地发掘病理图像数据中的信息。CAMELYON16 数据集是一个用于淋巴结转移癌症检测的数据集，包含 400 张数字病理图像，每张图像的分辨率高达 100,000x100,000 像素。在病理图像分类中，随机森林算法可以用于特征选择和分类任务。
ViT and DeiT
soulesstitan的博客
01-08 2253
简介   在nlp方面，transformer已经成为了标配。但是在cv方向，transformer的应用仍然是受限的。通常人们只是利用transformer来辅助cnn网络。这篇文章就完全抛弃了cnn，单纯地使用transformer也能够处理分类任务。 贡献 证明了单纯地使用transformer是work的。 使用大量的数据训练transformer，将精度做到了SOTA。 pretrain model的开源 CNN vs Transformer   CNN是一种分层（hierarchical）的
Pytorch使用Vision Transformer做肺癌和结肠癌组织病理学图像分类
lwf1881的博客
03-22 5663
模型介绍 文章链接：https://arxiv.org/pdf/2010.11929.pdf github地址： 视频教程：https://www.bilibili.com/video/BV1Jh411Y7WQ?spm_id_from=333.337.search-card.all.click是B站大佬霹雳吧啦Wz的讲解视频，讲得特别好，我的代码也是完全按照他的代码抄的，自己抄一遍代码对Vision Transformer的理解会更深刻，很多模型细节看论文中是感受不到的，例如embedding的方法。Vis
vit系列（vit / Deit / Levit / Localvit / Cait / Pvt / T2T-vit / swin-transfomer)
qq_38893847的博客
04-18 3549
这种深度卷积可以精确地提供局部信息聚合的机制，而这在视觉变换器的前馈网络中是缺失的。对于普通开发者，要想利用ViT获得理想的泛化能力，需要庞大的计算资源和数以亿计的图像进行预训练，成本昂贵，而Facebook的DeiT模型（8600万参数）蒸馏出的学生模型在准确率和吞吐量之间的权衡胜过其教师网络，有趣的是，卷积网络作为教师网络的结果要比用Transformer作为教师网络的结果更佳。上表是论文用来对比ViT，Resnet（和刚刚讲的一样，使用的卷积层和Norm层都进行了修改）以及Hybrid模型的效果。
Vit，DeiT，DeepViT，CaiT，CPVT，CVT，CeiT简介
weixin_42638415的博客
03-12 5169
Vit: 最基础的，就是将transformer的encoder取出来。 输入图像大小维度(B,C,H,W)，将图片不重叠地划分为H/patch_height * w/patch_weight个patch，每个patch为patch_height * patch_weight * c。 之后，concat用于分类的cls token，维度+1，同时加入可学习的绝对位置编码，送入transformer的主体。 之后就与tansformer的计算相同，这里不多做赘述。...
视觉Transformer经典论文——ViT、DeiT的与原理解读与实现
CV小菜鸟的博客
03-27 2959
基础模块构建好后，就可以构建完整的ViT网络了。ViT的完整结构如图10所示。图10：ViT网络结构可以看到，假设我们将原始图像切分成3×33 \times 33×3共9个小图像块，最终的输入序列长度却是10，也就是说我们这里人为的增加了一个向量进行输入，我们通常将人为增加的这个向量称为 Class Token。那么这个 Class Token 有什么作用呢？我们可以想象，如果没有这个向量，也就是将N9N=9N9。
VIT用于图像分类 学习笔记（附代码）
PLANTTHESON的博客
01-05 8448
VIT用于图像分类 学习笔记（附代码）
【AI视野·今日CV 计算机视觉论文速览 第228期】Tue, 29 Jun 2021
TomRen
06-29 2923
AI视野·今日CS.CV 计算机视觉论文速览 Tue, 29 Jun 2021 (showing first 100 of 120 entries) Totally 100 papers ????上期速览✈更多精彩请移步主页 Interesting: ????, (from ) ????, (from ) ????, (from ) ????, (from ) ????, (from ) ????, (from ) ????, (from ) ????, (from )
【AI视野·今日CV 计算机视觉论文速览 第244期】Fri, 15 Apr 2022
TomRen
04-19 1674
AI视野·今日CS.CV 计算机视觉论文速览 Fri, 15 Apr 2022 Totally 70 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers A Level Set Theory for Neural Implicit Evolution under Explicit Flows Authors Ishit Mehta, Manmohan Chandraker, Ravi Ramamoorthi基于坐标的神经网络参数化隐式表面已经.
【AI视野·今日CV 计算机视觉论文速览 第193期】Fri, 7 May 2021
TomRen
05-07 1770
AI视野·今日CS.CV 计算机视觉论文速览 DeepMind Oxford新论文
预训练的VIT为医学图像提供通用表示
qq_45745941的博客
03-26 831
考虑每种模型类型如何在不同的域、不同的初始化类型以及模型容量范围内执行各种任务。研究的主要问题是，原型VIT是否可以用作替代cnn的医疗诊断任务。ViTs和cnn在相同条件下完成各种医学图像分析任务。
Nature这个多模态病理模型不仅汇总16个公开数据集，技术创新也非常值得参考！
m0_59164304的博客
11-06 1394
Nature近期的研究汇总多个病理切片数据集，综合运用多模态技术及自监督学习提出一种病理基础大模型。本文对其使用的方法进行介绍，并对其中使用的公开数据集进行汇总，希望能对各位读者有所帮助。
5.10.6 用于乳腺癌超声图像分类的Vision Transformer
qq_47896523的博客
05-12 834
医学超声（US）成像由于其易用性、低成本和安全性已成为乳腺癌成像的主要方式。卷积神经网络（CNN）有限的局部感受野限制了他们学习全局上下文信息的能力。利用 ViT 对使用不同增强策略的乳房 US 图像进行分类。卷积神经网络（CNN）已成为自动医学图像分析应用（例如图像分类）中最常见的网络。然而，由于其局部感受野，这些模型在学习长距离信息方面表现不佳，限制了它们执行视觉任务的能力。用于图像分类应用的 Vision Transformer (ViT) 架构。
Transformer 在医学图像分类中的应用
Warmer_Sweeter
03-01 1971
这篇文章的重点是Vision Transformer（ViT）及其在实际问题中的应用。Transformer架构已经成为自然语言处理任务的事实标准。什么是Vision Transformer（ViT）？ViT架构基于图像表示，将图像表示为一组补丁。图像补丁是大小为16x16像素的非重叠图像块。例如，在分辨率为224x224的图像中，有(224 / 16) (224 / 16) = 14 14 =...
视觉Transformer的复仇！Meta AI提出DeiT III：ViT训练的全新baseline
zandaoguang的博客
05-07 382
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达转载自：机器之心作者：Adam Zewe |编辑：赵阳、张倩本文提出了训练视觉 Transformer（ViT）的三种数据增强方法：灰度、过度曝光、高斯模糊，以及一种简单的随机剪枝方法 (SRC)。实验结果表明，这些新方法在效果上大大优于 ViT 此前的全监督训练方法。Transformer 模型...
Deit:知识蒸馏与vit的结合 学习笔记（附代码）
PLANTTHESON的博客
01-12 9211
DeiT使用知识蒸馏（Knowledge Distillation）的方法进行训练。这意味着它通过从一个大型预训练模型中传递知识来训练，而不是从头开始训练。这有助于在资源受限的情况下实现更好的性能。
WS-T2T-ViT：一种新型弱监督模型用于提高鼻咽癌病理图像分类精度｜文献精析·24-08-23
罗小罗同学的博客
08-23 1501
今天分享的这篇文章于2024年发表于《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》，目前IF=6.7。鼻咽癌病理AI相关的文章相比于其他的癌种来说，比例较低，之前的研究也多聚焦于影像组学的研究。昨天刚好在整理文献，突然想看看鼻咽癌最新的一个研究进展，然后就找到了这篇文章。代码是开源的，如果对这篇文章的研究内容感兴趣，想要复现一下试试效果的，欢迎关注我接下来的推文。
vit图像分类
最新发布
04-02
### Vision Transformer (ViT) 的图像分类教程与实现 Vision Transformer (ViT)[^2] 是一种将Transformer架构应用于计算机视觉领域的方法，特别是用于解决图像分类问题。它通过将图像分割成固定大小的小块（patches），并将这些小块线性嵌入到高维空间中来模拟序列数据的行为。 以下是关于如何理解和实现 ViT 进行图像分类的关键点： #### 数据预处理 为了使图像能够被 ViT 处理，通常会将其划分为多个不重叠的 patches。每个 patch 被展平并映射到一个固定的维度向量上。这种操作类似于 NLP 中的 tokenization 和 embedding。 ```python import numpy as np def split_image_into_patches(image, patch_size=16): """ 将图像切分成若干个patch。 参数: image: 输入图像 (H x W x C) patch_size: 单个patch的高度和宽度 返回: patches: 切分后的patches列表 """ height, width, channels = image.shape num_patches_height = height // patch_size num_patches_width = width // patch_size patches = [] for i in range(num_patches_height): for j in range(num_patches_width): patch = image[i*patch_size:(i+1)*patch_size, j*patch_size:(j+1)*patch_size] patches.append(patch.flatten()) return np.array(patches) image = np.random.rand(224, 224, 3) # 假设输入图像是 224x224 RGB 图像 patches = split_image_into_patches(image, patch_size=16) print(f"Patches shape: {patches.shape}") # 输出形状应为 [N, D], 其中D是单个patch展开后的长度 ``` #### 构建模型结构 构建 ViT 模型的核心在于设计其编码器部分以及位置嵌入层。具体来说，需要加入可学习的位置嵌入以保留像素的空间关系信息。 ```python from tensorflow.keras.layers import LayerNormalization, Dense, Dropout from tensorflow.keras.models import Sequential class PatchEmbeddingLayer(tf.keras.layers.Layer): def __init__(self, embed_dim, **kwargs): super(PatchEmbeddingLayer, self).__init__(**kwargs) self.embed_dim = embed_dim def build(self, input_shape): _, n_patches, _ = input_shape self.position_embedding = tf.Variable( initial_value=tf.zeros((n_patches + 1, self.embed_dim)), trainable=True ) def call(self, inputs): batch_size, n_patches, dim = inputs.shape cls_token = tf.broadcast_to( self.cls_token(), shape=(batch_size, 1, dim)) embeddings = tf.concat([cls_token, inputs], axis=1) position_embeddings = self.position_embedding[:embeddings.shape[1]] return embeddings + position_embeddings model = Sequential([ PatchEmbeddingLayer(embed_dim=768), MultiHeadAttention(d_model=768), # 自定义多头注意力机制 FeedForwardNetwork(hidden_units=3072), # 配置前馈网络参数 ]) ``` 上述代码片段展示了如何创建一个简单的 ViT 编码器模块，并引入了 `PatchEmbeddingLayer` 来管理位置嵌入和补丁嵌入过程。 #### 训练流程 训练 ViT 模型的过程与其他深度神经网络相似，主要涉及损失函数的选择、优化算法配置等方面的工作。对于图像分类任务而言，交叉熵通常是首选的目标函数之一[^1]。 ```python loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True) optimizer = tf.keras.optimizers.Adam() @tf.function def train_step(images, labels): with tf.GradientTape() as tape: predictions = model(images, training=True) loss = loss_fn(labels, predictions) gradients = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(zip(gradients, model.trainable_variables)) return loss ``` 以上即是对基于 Vision Transformer 实现图像分类的一个基本介绍及其 Python 示例代码展示。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值