政安晨：【Keras机器学习实践要点】（二十三）—— 紧凑型卷积变换器

最新推荐文章于 2025-08-02 23:41:40 发布
最新推荐文章于 2025-08-02 23:41:40 发布
阅读量1.2k 收藏 23
点赞数 31
CC 4.0 BY-SA版权
分类专栏： TensorFlow与Keras机器学习实战 文章标签： 机器学习 keras 人工智能 tensorflow 深度学习 神经网络 紧凑型卷积变换器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/snowdenkeke/article/details/137567906
本文介绍了紧凑型卷积变换器（CCT），它是结合卷积和Transformer优势的网络架构。通过CCT在CIFAR-10数据集上的实现和训练，展示了其高效性能，只需40万个参数即达到约79%的top-1准确率，对比ViT模型表现出更高的参数效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

导入

超参数和常量

加载 CIFAR-10 数据集

CCT 标记器

序列池

正则化的随机深度

变换编码器的 MLP

数据扩增

最终的 CCT 模型

模型培训和评估

政安晨的个人主页：政安晨

欢迎 👍点赞✍评论⭐收藏

收录专栏: TensorFlow与Keras机器学习实战

希望政安晨的博客能够对您有所裨益，如有不足之处，欢迎在评论区提出指正！

本文目标：用于高效图像分类的紧凑型卷积变换器

正如视觉变换器（ViT）论文中所讨论的，基于变换器的视觉架构通常需要比通常更大的数据集，以及更长的预训练时间。对于 ViT 而言，ImageNet-1k（拥有约一百万张图像）被认为属于中等数据规模。这主要是因为，与 CNN 不同，ViT（或典型的基于 Transformer 的架构）不具备信息充分

了解本专栏 订阅专栏 解锁全文 超级会员免费看
政安晨：【Keras机器学习实践要点】（二十）—— 使用现代 MLP 模型进行图像分类
政安晨——致力于AI人工智能数字互动领域
04-08 763
本文目标：为 CIFAR-100 图像分类实施 MLP-Mixer、FNet 和 gMLP 模型。 本示例实现了三种基于多层感知器（MLP）的现代无注意力图像分类模型，并在 CIFAR-100 数据集上进行了演示： 1. Ilya Tolstikhin 等人基于两种类型 MLP 的 MLP-Mixer 模型。 2. James Lee-Thorp 等人基于非参数化傅立叶变换的 FNet 模型。 3. gMLP 模型，由 Hanxiao Liu 等人提出，基于带门控的 MLP。
政安晨：【Keras机器学习实践要点】（三十一）—— 使用全局上下文视觉变换器进行图像分类
政安晨——致力于AI人工智能数字互动领域
04-15 1105
本文目标：用于图像分类的全局上下文视觉变换器的实现和微调。 在本文中，我们将利用多后端 Keras 3.0 来实现 A Hatamizadeh 等人在 ICML 2023 上发表的 GCViT：Global Context Vision Transformer 论文，并利用官方 ImageNet 预训练的权重在 Flower 数据集上对模型进行微调，以完成图像分类任务。 本文的一大亮点是与多个后端兼容：TensorFlow、PyTorch 和 JAX，展示了多后端 Keras 的真正潜力。
Keras教学(6):Keras的初始化Initializers，看这一篇就够了
热门推荐
my_name_is_learn的博客
11-05 2万+
卷积神经网络的初始化，看这一篇就够了。内容包括初始化器的用法、可用的所有初始化器、自定义初始化器的方法
Tensorflow: Math变量初始化
qq_39037910的博客
06-09 949
对自行创建的变量以及一些方法中创建的内部使用的变量进行初始化的方法.Tensorflow中的变量初始化有两类方法: 使用xxxx()方法生成一个Tensor, 将这个Tensor作为tf.Variable()中的initial_value参数的入参, 来初始化这个变量; 使用xxxx_initializer()创建一个初始化方法, 指明一种初始化的方法, 但并不生成具体的Tensor, 使用在tf.
CIFAR-10 物体识别
麦格芬230的博客
12-31 655
CIFAR-10数据集共包含60000彩色（RGB）图像，尺寸32*32。 这些图片总共可分为10个分类，用Python字典可表示如下： { 0 : 'airplane', 1 : 'automobile', 2 : 'bird', 3 : 'cat', 4 : 'deer', 5 : 'dog', 6 : 'frog', 7 : 'horse'...
政安晨：【Keras机器学习示例演绎】（三十）—— 使用变换器进行视频分类
政安晨——致力于AI人工智能数字互动领域
05-03 812
本文目标：用混合变压器训练视频分类器。 本示例是使用 CNN-RNN 架构（卷积神经网络-循环神经网络）进行视频分类示例的后续。这一次，我们将使用基于变换器的模型（Vaswani 等人）对视频进行分类。阅读本示例后，您将了解如何开发基于变换器的混合模型，用于在 CNN 特征图上运行的视频分类。
政安晨：【Keras机器学习示例演绎】（三十五）—— 使用 LayerScale 的类注意图像变换器
政安晨——致力于AI人工智能数字互动领域
05-05 1119
本文目标：实现配备关注类和 LayerScale 的图像转换器。 在本文中，我们将实现 Touvron 等人在《深入研究图像变换器》（Going deeper with Image Transformers）一书中提出的 CaiT（Class-Attention in Image Transformers）。 深度缩放，即增加模型深度以获得更好的性能和泛化，在卷积神经网络（例如 Tan 等人，Dollár 等人）中已经取得了相当大的成功。
政安晨：【Keras机器学习示例演绎】（二十一）—— 调查视觉转换器的表征
政安晨——致力于AI人工智能数字互动领域
04-28 845
本文目标：研究不同 Vision 变形金刚变体所学到的表征。 在本示例中，我们将研究不同视觉转换器（ViT）模型学习到的表征。本示例的主要目的是让我们深入了解 ViT 从图像数据中学习的能力。本示例特别讨论了几种不同 ViT 分析工具的实现。 注：当我们说 "视觉转换器 "时，我们指的是涉及转换器模块的计算机视觉架构（Vaswani 等人），而不一定是原始的视觉转换器模型（Dosovitskiy 等人）。
政安晨：【Keras机器学习示例演绎】（二十八）—— 使用 卷积神经网络与循环神经网络 架构进行视频分类
政安晨——致力于AI人工智能数字互动领域
05-02 1199
文本目标：在 UCF101 数据集上使用迁移学习和递归模型训练视频分类器。
快速了解机器学习
wzdzgdf的博客
08-02 783
机器学习是人工智能（AI）的核心分支，它让计算机能够通过数据 “自主学习” 并改进，而无需被明确编程。简单来说，机器学习的目标是构建能从经验（数据）中学习规律的模型，使其在新数据上做出准确预测或决策。
【因子动物园巡礼】第12章：机器学习在因子投资中的应用（中文翻译）
Menger_Wen的博客
07-29 1788
原作者：张晓泉、卢涛、石川 探讨了机器学习在因子投资中的应用现状与挑战。 金融数据的诸项特性导致直接套用现成算法效果有限。 重点分析了两类深度学习模型（CNN和RNN）在金融建模中的适应性，指出其成功依赖数据质量与经济理论指导。 通过解构量化投资全流程，展示了机器学习在数据预处理、因子发现、风险优化等环节的应用潜力，同时强调需警惕过拟合风险。 资产定价领域需将机器学习嵌入理论框架，通过正则化、协变量缩放等技术结合金融先验知识提升预测效果。 当前研究正从传统计量方法转向机器学习范式，但克服数据分布变化仍困难
译|Netflix 数据平台运营中基于机器学习自动修复系统
素质云笔记
08-02 544
译|Netflix 数据平台运营中基于机器学习自动修复系统
AE、VAE与GAN简明指南：三大生成模型对比
Galen_xia的博客
07-29 833
AE、VAE与GAN简明对比指南 本文对比了三种主流生成模型的核心特点： AE（自编码器）：通过编码-解码结构压缩还原数据，结构简单但生成能力有限，适合压缩和去噪任务。 VAE（变分自编码器）：在AE基础上加入概率分布，使隐空间连续可插值，能生成新样本，适用于数据增强和可控生成。 GAN（生成对抗网络）：采用生成器与判别器对抗训练，生成质量最佳但训练难度大，适合高质量图像生成任务。 三种模型各具优势：AE简单易用，VAE平衡质量与稳定性，GAN生成效果最优但需精细调参。选择时需权衡复杂度、训练稳定性和生成质
机器学习、深度学习与数据挖掘：三大技术领域的深度解析
loopdeloop的博客
07-29 856
机器学习、深度学习和数据挖掘构成了现代人工智能的核心技术栈，三者既相互区别又紧密联系。数据挖掘专注于知识发现，机器学习擅长建立预测模型，深度学习则精于处理复杂模式。随着技术进步，三者界限逐渐模糊，但各自的核心价值依然清晰。未来发展趋势将呈现技术深度融合、工程化程度提升和专业化解决方案涌现等特点。AutoML等技术正在整合全流程，MLOps等实践使技术更易落地，领域特定解决方案则满足专业化需求。这些发展将推动人工智能技术更加普及和实用化。理解这些技术的区别与联系，有助于在正确场景选择合适工具。
初识无监督学习-聚类算法中的K-Means算法，从原理公式到简单代码实现再到算法优化
2301_79797055的博客
08-01 385
本文介绍了无监督学习中的K-Means聚类算法。K-Means是一种通过迭代寻找k个聚类中心的算法，其目标是最小化簇内平方误差和。算法步骤包括：1)随机初始化k个质心；2)将每个数据点分配到最近质心对应的簇；3)根据当前簇成员重新计算质心位置；4)重复2-3步直至收敛。文章提供了Python实现代码，包括质心初始化、K-Means核心算法和可视化部分，使用sklearn生成模拟数据验证算法效果。K-Means适用于发现数据中的自然分组，是数据挖掘和模式识别中的基础算法。
机器学习sklearn：处理缺失值
weixin_46407807的博客
08-01 161
摘要：本文介绍了使用Scikit-learn的SimpleImputer处理泰坦尼克号数据缺失值的方法。首先导入数据并检查缺失情况，然后针对Age列分别演示了均值、中位数和0值填补策略，最终选择中位数填补。对于Embarked列则采用众数填补。此外还展示了使用Pandas直接填充中位数的方法。全文通过具体代码示例展示了数据预处理的关键步骤，包括数据读取、缺失值识别和三种不同的填补策略应用。文末附有完整的原始数据集供参考。
机器学习消融实验：方法论演进、跨领域应用与前沿趋势
最新发布
拒绝AI玄学，只聊真技术▲
08-02 691
消融实验（Ablation Study）是一种系统性移除或修改模型关键组件以评估其对整体性能贡献的实验方法论。其术语源于神经科学和实验心理学（20世纪60-70年代），指通过切除动物脑区研究行为变化的实验范式。2014年，Girshick等人在目标检测领域首次系统引入该方法，在R-CNN模型中移除了全连接层和SVM分类器等组件，发现仅移除全连接层即可保持95%的检测精度，揭示了CNN特征提取的核心作用，奠定了现代消融实验的基础。本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。
OpenCV 学习探秘之三：从图像读取到特征识别，再到机器学习等函数接口的全面实战应用与解析
qianniulaoren的博客
07-29 789
OpenCV 学习探秘之三：从图像读取到特征识别，再到机器学习等函数接口的全面实战应用与解析
机器学习之线性回归——小白教学
2302_76756558的博客
07-29 905
age（年龄）、sex（性别）、bmi（体重指数）、bp（平均血压）、s1-s6（6 项血清指标）target（一年后糖尿病病情进展的量化值）数据已做标准化处理，可直接用于模型训练。x = data[['age','sex','bmi','bp','s1','s2','s3','s4','s5','s6']] # 特征变量y = data[['target']] # 目标变量（一年后糖尿病病情进展）x包含 10 个输入特征：年龄、性别、体重指数、血压及 6 项血清指标。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

政安晨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值