【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制

已于 2023-10-23 16:32:13 修改
阅读量1.4k 收藏 2
点赞数 1
文章标签： 机器学习 人工智能
于 2023-10-23 16:16:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44708254/article/details/133992248
版权
本文探讨了AlphaFold2如何利用等变Transformer和注意力机制进行蛋白质结构预测，包括归纳偏置的应用，以及与CNN中注意力机制的对比，如SE、ECA和CBAM。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Alphafold2具有旋转不变性吗——从图像识别到蛋白结构预测的旋转对称性实现

通过Alphafold2如何预测蛋白质结构，看有哪些机制或tricks可以利用？

一、等变Transformer

等变Transformer是Transformer众多变体的其中一种，其强调等变性。不变性或者等变性的定义如下:
在这里插入图片描述

二、归纳偏置

对特定任务的模型需求，即为“归纳偏置”。
在这里插入图片描述

三、注意力机制

自注意力机制被运用到Transformer中，以及在AlphaFold2中也运用了各种的注意力机制

在这里插入图片描述

【深度学习】(1) CNN中的注意力机制（SE、ECA、CBAM），附Pytorch完整代码

在这里插入图片描述

在AlphaFold2中就运用了轴向注意力机制。

一文看懂 Attention（本质原理+3大优点+5大类型）

解释神经网络中的归纳偏置（Inductive Bias）（面试题200合集，中频、实用）
qq_38334677的博客
05-12 749
在机器学习，尤其是神经网络的领域中，是一个核心概念。简单来说，归纳偏置是指学习算法在从有限的训练数据中学习并推广到未见数据时所依赖的一组明确或隐含的假设。如果一个模型没有归纳偏置，它在面对训练数据之外的新样本时，将无法做出有意义的预测，因为有无数种可能的函数能够完美拟合训练数据，但它们在未见数据上的表现会截然不同。想象一下，给你一些点，让你画一条穿过这些点的线。你可以画直线、曲线、波浪线等等，有无限多种选择。你需要一些“偏好”或“假设”来选择其中一条。
【图神经网络综述】GNN原理＋落地应用+实现框架全解
热门推荐
cv君的博客
08-06 3万+
【2020 图神经网络综述】A Comprehensive Survey on Graph Neural Networks 文章转载于好我的朋友：大家可以关注他的博客： Memory逆光 博客地址：https://blog.youkuaiyun.com/weixin_44936889/article/details/107764037 未经作者允许，本文禁止转载 1. 摘要： 2. 简介： 2.1 为什么要用图表示数据： 2.2 GNN与network embedding： 2.3 GNN与Gra
学习笔记：类人归纳偏置在因果推理与分布外泛化的应用
usehyn的博客
06-03 498
学习笔记：类人归纳偏置在因果推理与分布外泛化的应用（Human-Inspired Inductive Biases for Causal Reasoning and Out-of-Distribution Generalization） 在2021年4月举行的NVIDIA线上GTC大会上，约书亚*本希奥(Yoshua Bengio)对他最近的论文"高阶认知深度学习中的归纳偏置"(arxiv: 2011.15091)做了一个讲解。我们现将部分要点整理如下。 今天的机器学习模型中存在一个假设：未来的观察数据与
卷积神经网络（CNN）的平移不变性和旋转不变性。
深度不学习！！的博客
01-19 8973
文章目录不变性的介绍不变性的原理 不变性的介绍 不变性意味着即使目标的外观发生了某种变化，但是你依然可以把它识别出来。 旋转不变性和平移不变性： 通俗的讲，我给你一张图片，你识别出来这是只狗，我将图片旋转之后再给你，你依旧可以识别出来这是只狗。这就叫做具有旋转不变性。 平移、光照、缩放、视角等不变性同理。 不变性的原理 简单来说，卷积神经网络依靠 卷积+池化达到一定程度上的不变性，因为图像经过平移或旋转后，图片上的特征也随之改变，但依旧会被扫描出来。 下图中，三个红点特征在原始图像的左下角。 当将特征改变
CNN的空间归纳偏置（Inductive Bias）：深入解析其本质与影响（与transformer的比较）
阿正的梦工坊
03-22 1333
CNN的空间归纳偏置是其成功的关键，源于局部性、平移不变性和层次结构的假设，使其在视觉任务中高效且数据友好。Transformer则通过去除这些偏置换取了灵活性和全局建模能力，但也带来了对数据和计算的高需求。理解这一差异不仅有助于选择合适的模型，也为设计下一代视觉架构提供了启示。
cnn平移等变性和不变性
lx18303916的博客
01-11 1773
cnn不变性和等变性
CNN 中的等变(equivariant)和不变(invariant)
csyifanZhang的博客
08-21 1766
看一篇有关CNN on Graph的论文时遇到了两个看上去很像的名词——equivariant和invariant， 对这二者有些不太明白，因此一番谷歌后总算弄清楚些。 等变性 equivariant 通俗解释：对于一个函数，如果你对其输入施加的变换也会同样反应在输出上，那么这个函数就对该变换具有等变性。 更严谨些： 对于一个函数/特征fff以及一个变换ggg，如果我们有：f(g(x))=g(f(x))f(g(x))=g(f(x))f(g(x))=g(f(x)) 则称fff对变换ggg有等变性。 举一个例子
CNN的等变性和不变性
ACM之路
06-05 2469
不变性: invariant f(F(x)) = f(x) 等变性: eq f(g(x)) = g’f(x) pooling是具有不变性 cnn 是具有等变性 https://zhangting2020.github.io/2018/05/30/Transform-Invariance/
【人工智能数学基础】——李群与机器学习：对称性引导的特征学习革命
最新发布
Conan_0728的博客
04-18 695
晶体学家通过空间群分类物质结构，李群理论通过连续对称性解析数据本质。这个源自19世纪Sophus Lie的数学理论，以"无穷小生成元"的哲学重塑了几何深度学习的范式。本文将带您深入李代数的微分结构，用代码重现等变特征的提取奇迹，揭示如何通过指数映射在数据流形上构建对称性的导航罗盘。从量子场论到蛋白质折叠，李群用微分几何的语言重新诠释了自然界的对称性密码。当您理解每个生成元都是变换的基因，每次群作用都是结构的共鸣，就能在数据的混沌中触摸秩序的和弦。
机器学习基础词汇合集
介绍AI领域相关知识
01-07 1044
具体的表现形式为网络对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。写这篇文章的原因是因为本人最近也在学习机器学习方面的相关知识，但是由于之前没有接触过相关的内容，对机器学习的一些相关词汇以及基础知识都不太了解，所以整理出一篇机器学习基础词汇合集来进行记录，以便自己后期遗忘的时候再来查看复习，同时也把这篇文章分享出来供大家查看。如果模型对于输入数据的平移敏感，那么就会导致模型在测试时出现较高的误差率。
【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（三）
weixin_54607024的博客
12-30 1456
从而实现对模型的解释。这种方法通过引入抽象概念，使得模型的解释更加易于人类理解，而不是仅仅依赖于低层次的特征。在潜在空间中的信息也可以被转换成易于理解的解释。一个代表性的框架是。
不变性和可变性.pdf
05-25
关于不变性和可变性的思考的文章
等变性的AI：从离散到连续
liangwqi的博客
09-14 551
这篇文章主要介绍了在科学问题中如何实现不变性或等变性，其中介绍了实现等变性的数学和物理基础，包括离散和连续对称变换的示例，并描述了在实践中如何使用张量积。文章还讨论了如何处理数据中的对称性，以及如何开发适应对称性约束的机器学习模型。最后，文章指出了几个值得在该领域探索的开放研究方向。
等变transformer
qq_49786473的博客
11-10 422
等变Transformer（Equivariant Transformer）是一种特定设计的Transformer架构，能够在处理分子结构和3D几何信息时保持等变性（Equivariance）。等变性是指模型在输入进行某种变换（如旋转或平移）时，输出会相应地改变，但输出本身的特征不变。对于分子建模和分子模拟任务，这种特性至关重要，因为分子的几何结构会影响其性质。等变Transformer核心概念。
关于卷积各种等变性的数学描述
Soonki的博客
06-14 687
论文General E(2)-Equivariant Steerable CNNs的知识补充，由于其中涉及了很多数学相关的知识，所以特此说明。
当我们说起神经网络的等变性，我们在谈论什么
farfarcheng的博客
08-23 229
技术已经颇为成熟的当下，神经网络被大量用于分子结构建模，成为了量子力学模拟、材料发现、药物设计、反应设计等等领域的一种新的范式。具体而言，这些神经网络往往以分子结构作为输入，预测分子势能、原子受力、分子毒性等等人们关心的性质。分子结构在本质上是三维欧氏空间的点云，这一输入有别于图像、文本，有着比较强的物理对称性约束。比如，当分子在真空中平移、旋转，分子的势能、受力也应该满足物理上的对称性。围绕“神经网络与等变性”这一主题，我们为你带来了本期 Notebook。
几何等变图神经网络综述
白景屹的博客
10-27 3648
许多科学问题都要求以几何图形（geometric graphs）的形式处理数据。与一般图数据不同，几何图显示平移、旋转和反射的对称性。研究人员利用这种对称性的归纳偏差（inductive bias），开发了几何等变图神经网络（GNN），以更好地描述几何图的几何特性和拓扑。尽管取得了丰硕的成果，但它仍然缺乏一项survey来描述等变GNN是如何发展的，这反过来又阻碍了等变GNNs的进一步发展。为此，基于必要但简明的数学预备知识，我们下面分析并将现有方法分为三组，以了解如何表示GNN中的消息传递和聚合。
Spatial Transformer Networks 空间变换网络 详解
张齐贤的博客
08-14 3225
https://blog.youkuaiyun.com/zqx951102/article/details/107760893 在这篇论文中，作者用到了STN网络，所以了解了一下： https://www.cnblogs.com/liaohuiqiang/p/9226335.html 这篇链接给出了详细的公式和概念介绍STN网络 为什么提出（Why）： 一个理想中的模型：我们希望鲁棒的图像处理模型具有空间不变性，当目标发生某种转化后，模型依然能给出同样的正确的结果 什么是空间不变性：举例来说，如下图所示，假设一个模型能
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dataloading...

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值