CNN具备Transformer所不具备的两个归纳偏置

最新推荐文章于 2025-03-31 16:21:53 发布
最新推荐文章于 2025-03-31 16:21:53 发布
阅读量1.7k 收藏 10
点赞数 2
CC 4.0 BY-SA版权
文章标签： cnn transformer 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/IT_Novice_/article/details/125788205
本文探讨了卷积神经网络（CNN）的局部性和平移等变性，强调其在图像处理中如何利用这些特性高效学习。相比之下，Transformer的自注意力层提供全局上下文，但不具备相同的空间不变性。理解这些差异对于选择合适模型解决计算机视觉问题至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

CNN具备的先验信息使得其可以使用更少的数据得到更好的模型：

1、局部性 Locality ：
假设图片上相邻的区域会有相邻的特征，靠的越近的东西相关性越强。

2、平移等变性 Translation equivariance：
平移同变性 即f(g(x))=g(f(x))，f为卷积，g为平移
无论先做卷积还是平移，卷积核相当于模板，不论图片中同样的物体移到哪里，只要是同样的输入进来，遇到同样的卷积核，其输出永远是一样的

相比于Transformer的自注意力层self-attention layer 是全局性的。

Next-ViT：下一代视觉Transformer，用于现实工业场景中的高效部署
AI浩
10-04 826
我们展示了如图2所示的Next-ViT。按照惯例，Next-ViT遵循带有补丁嵌入层和每个阶段一系列卷积或Transformer块的层次金字塔架构。空间分辨率将通过每个阶段减少32倍，而通道维度将在不同阶段扩展。在本章中，我们首先深入设计信息交互的核心块，并分别开发了强大的NCB和NTB来模拟视觉数据中的短期和长期依赖性。局部和全局信息的融合也在NTB中执行，这进一步增强了建模能力。最后，我们系统地研究了集成卷积和Transformer块的方式。
Transformer模型详解
weixin_49376454的博客
05-28 2232
Transformer模型详解（人工智能）
卷积神经网络和Vision Transformer的对比之归纳偏置
985小菜鸡
07-06 1426
每个像素点与其他所有像素点的关系都被考虑在内，这使得ViT在处理全局特征时非常有效，特别是在复杂的图像场景中。同一个卷积核在整个图像上滑动（卷积操作），从而在不同位置上使用相同的参数。由于卷积核在图像上的滑动操作，CNN对图像的平移具有一定的不变性。由于缺乏像CNN那样的强归纳偏置，ViT需要大量的数据来学习图像的各种模式和特征。如果数据量不足，ViT的性能可能不如CNN。简单来说，CNN的归纳偏置让它在处理局部特征时更加高效和鲁棒，而ViT的全局注意力使得它在数据量充足时能更好地处理全局信息。
归纳偏置多通道CNN：TODO
02-25
概述 这是以下手稿的代码存储库：“具有有限权重范数的多通道线性卷积网络的归纳偏置”（Meena Jagadeesan，Ilya Razenshteyn，Suriya Gunasekar）。 论文摘要 我们研究了线性卷积网络中控制权重的\\ ell_2 $范数所产生的归纳偏置的函数空间特征。 我们从实现空间函数所需权重的最小范数给出的函数空间中的归纳正则化器的角度来看待这一点。 对于具有$ C $输出通道和内核大小$ K $的两层线性卷积网络，我们显示以下内容：（a）如果网络的输入具有单个通道，则对于任何$ K $的归纳正则化器为通过半定程序（SDP）进行，该程序与输出通道$ C $的数量无关。 我们通过MNIST上的二进制分类任务进一步验证了这些结果。 （b）相反，对于具有多通道输入的网络，可能仅需实现所有矩阵值线性函数就需要多个输出通道，因此，电感性偏差确实取决于$ C $。 此外，对于
CNN中的Inductive bias(归纳偏置)
YTKQ_YTKQ的博客
11-10 8519
②translation equivariance：由于卷积核是一样的所以不管图片中的物体移动到哪里，只要是同样的输入进来遇到同样的卷积核，那么输出就是一样的。在CNN中的归纳偏置一般包括两类：①locality(局部性)和②translation equivariance（平移等变性）① locality:假设相同的区域会有相同的特征，靠得越近的东西相关性能也就越强。归纳偏置其实就是一种先验知识，一种提前做好的假设。
CNN的空间归纳偏置（Inductive Bias）：深入解析其本质与影响（与transformer的比较）
阿正的梦工坊
03-22 1491
CNN的空间归纳偏置是其成功的关键，源于局部性、平移不变性和层次结构的假设，使其在视觉任务中高效且数据友好。Transformer则通过去除这些偏置换取了灵活性和全局建模能力，但也带来了对数据和计算的高需求。理解这一差异不仅有助于选择合适的模型，也为设计下一代视觉架构提供了启示。
Transformer中没有CNN中的Inductive bias(归纳偏置)
w18013886857的博客
12-08 3971
ransformer中没有CNN中的Inductive bias(归纳偏置)
归纳偏置
pingchuan2012的专栏
08-20 1224
a bug：以下训练样例无法使用候选消除算法得到目标概念 ------------------------------------------------------------------------------------------------------------------------------ Example       Sky         AirTemp      Hum
面向图像分类的视觉Transformer
qq_47896523的博客
03-27 1610
一种面向对象分类的视觉Transformer，即ViT。该模型避免了卷积带来的归纳偏置，弥补了卷积神经网络在超长周期建模的不足。1、DeiT（data-efficient image transformer）采用了知识蒸馏策略（将大型模型的复杂知识（包括其中的泛化能力和细节知识）传递给小型模型，使得小型模型能够在有限的数据集上达到与大型模型相当的性能），使得视觉Transformer能够学习归纳偏差
从 AlexNet 到 Swin Transformer：计算机视觉架构演进图谱
最新发布
u012374012的专栏
03-31 1180
在计算机视觉领域，模型架构的演进宛如一场精彩绝伦的技术接力赛，从早期的 CNN 逐步过渡到如今大放异彩的 Transformer，每一次关键节点的突破都为整个领域注入了强大的动力，推动着视觉任务的性能迈向新的高度。本文将沿着时间轴，梳理这一演进路径中具有里程碑意义的模型以及 Transformer 的突破性成果，展现技术迭代的脉络。
CNN基本入门总结（归纳）
10-30
介绍神经网络与卷积神经网络：1.层级结构，2.数据处理，3.训练算法，4.优缺点、正则化与Dropout、典型结构与训练
Vision Transformer论文精读
weixin_43605214的博客
11-08 1090
Vision Transformer的整体结构详解，以及该论文提供的一些很有意思的思路记录。Embedding层的设计，Position Embedding添加位置编码，以及分类头[class]token，Encoder中的layer norm,多头注意力和dropout详解，MLP设计。
Inductive bias(归纳偏置)(基本假设)
hxxjxw的博客
05-27 2108
CNN的inductive bias应该是locality和spatial invariance，即空间相近的grid elements有联系而远的没有，和空间不变性（kernel权重共享） RNN的inductive bias是sequentiality和time invariance，即序列顺序上的timesteps有联系，和时间变换的不变性（rnn权重共享） ...
inductive bias(归纳偏置)
weixin_56251174的博客
10-17 304
同理，模型的训练和算法的求解也是，给定一定样本空间里面的点，不同的算法可以拟合出不同的曲线。这是因为不同的算法对解空间有着不一样的假设，那么就会偏好具有不同属性的解。, induction and deduction)，指的是从一些例子中寻找共性、泛化，形成一个比较通用的规则的过程；在cnn中，我们假设特征具有局部性(Locality)的特性，即当我们把相邻的一些特征放在一起，会更容易得到“解”；从现实生活中观察到的现象中归纳出一定的规则，然后对模型做一定的约束，从而可以起到“模型选择”的作用。
Transformer，浅析归纳偏置对模型缩放的影响
whaosoft143ai的博客
09-03 933
还是搬运工啊 小白求学之路谷歌的研究者试图了解归纳偏置（体系架构）对语言模型标度律的影响。他们预训练和微调了 100 多种不同体系架构和大小的模型，并提出了在缩放这十种不同体系架构方面的见解和挑战。Transformer 模型的缩放近年来引发了众多学者的研究兴趣。然而，对于模型架构所施加的不同归纳偏置的缩放性质，人们了解得并不多。通常假设，在特定标度（计算、大小等）的改进可以迁移到不同的规模和计算区域。不过，理解架构和标度律之间的相互作用至关重要，设计在不同标度上表现良好的模型具有重要的研究意义。
理解归纳偏置
anyeliuyue的博客
11-17 1492
阅读有关多任务学习材料的过程中，多次接触过归纳偏置的概念，现将一些理解整理如下： 归纳偏置是什么？ 机器学习试图去建造一个可以学习的算法，用来预测某个目标的结果。要达到此目的，要给于学习算法一些训练样本，样本说明输入与输出之间的预期关系。然后假设学习器在预测中逼近正确的结果，其中包括在训练中未出现的样本。既然未知状况可以是任意的结果，若没有其它额外的假设，这任务就无法解决。这种关于目标函数的必
浅谈归纳偏置
AlexZhang67的博客
04-18 5880
本人学渣一枚，如有错误，敬请指出。        《机器学习》2.7节谈到了归纳偏置，我不敢说自己对归纳偏置理解的很透彻，但这里简单记录一下我对归纳偏置的理解，以后我也会继续补充。        本节从假设空间可能不包括目标概念引出了无偏学习，无偏学习的假设空间一定包含目标概念。然后讲到无偏学习的无用性，即如果采用无偏学习，那么在遇见一个训练集中不存在的实例时，无偏学习器无法对其分类。换句
卷积神经网络（CNN）中的权重（weights）和偏置项（bias）
搏博的专栏
11-18 8307
2. 数量：卷积层中的权重数量取决于卷积核的大小、数量以及输入数据的通道数，卷积核表示为（卷积核宽、卷积核高、通道数、卷积核数）。综上所述，权重和偏置项是卷积神经网络中的核心参数，它们通过学习和调整来捕捉输入数据中的特征，并优化模型的性能。在卷积神经网络（CNN）中，权重（weights）和偏置项（bias）是两个至关重要的参数，它们在网络的学习和推断过程中起着关键作用。3. 模型优化：通过训练过程中的权重和偏置项更新，网络可以逐渐减小损失函数的值，从而提高模型的准确性和泛化能力。
推荐 ：用归纳偏置来增强你的模型性能
数据分析
11-30 430
作者：Sebastian Dick 翻译：王可汗 校对：车前子本文约3800字，建议阅读13分钟。本文为大家展示了在机器学习模型中编码现实生活中的对称性可以将其准确性提高几个数量级。...
卷积神经网络 人脸识别 viT
02-24
- **训练过程**：由于CNN具备良好的归纳偏置(inductive bias)，因此即使是在较小规模的数据集上也能获得不错的效果。相比之下,Vit更倾向于需要大量标注样本来达到最佳性能水平,尤其是在涉及复杂背景干扰的情况下更是...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值