torch.einsum 简单介绍计算流程

最新推荐文章于 2024-07-25 09:59:10 发布
最新推荐文章于 2024-07-25 09:59:10 发布
阅读量686 收藏
点赞数
分类专栏： Bug 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_33892106/article/details/116979755
版权

torch.einsum

>>> a = torch.arange(60.).reshape(5,3,4)
>>> b = torch.arange(24.
最低0.47元/天 解锁文章
3D分割之SAGA训练流程解读
蓝羽飞鸟的博客
06-04 765
3DGS，SAGA训练流程源码解读
【YOLO11改进 - C3k2融合】C3k2融合OREPA(Online Convolutional Re-parameterization)：在线卷积重参数化
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
11-10 202
【YOLO11改进 - 特征融合】C3k2融合OREPA(Online Convolutional Re-parameterization)：在线卷积重参数化
5min看懂torch.einsum()计算方法-torch.einsum()手动推导详解
罟霖同学的站点
09-03 2709
 本文将从实际复杂案例的角度对torch.einsum()的计算过程进行分析，一步一步的推导最终输出的每个元素和输入元素之间的关系。
【Pytorch】科研代码技巧—Einsum爱因斯坦求和约定
炼丹笔记
09-22 2222
不知大家在看论文代码的时候是否会常常看见 torch.einsum()，这玩意儿看起来是真的抽象，但是深入了解后发现它原来这么好用。
深度学习笔记之【einsum】的学习
weixin_45801434的博客
07-25 687
今天在学习源码时看到这样一个式子，理解了很久，看懂了，所以记录一下。einsum 是一种强大的矩阵计算工具，在深度学习框架中有实现。中而在输出中不存在，说明在这个维度上进行了求和。假设我有两个张量，维度分别是。两个维度被保留了下来，而。剩下的两个计算方法相同。初学者的理解，莫见笑。
掌握numpy.einsum与torch.einsum：提升科学计算与深度学习中的运算效率和代码可读性
m0_51661400的博客
12-26 2755
本文介绍了numpy.einsum和torch.einsum在科学计算和深度学习中的应用，包括Einstein求和记号的概念及其简化复杂运算的作用。详细阐述了两者的使用方法，如numpy.einsum的基础操作和torch.einsum在复杂运算如注意力机制以及自动微分中的优势。通过对比einsum与手动实现的嵌套循环运算，深入理解其机制。该博客旨在帮助读者熟练掌握这两种工具，提升计算效率和代码可读性，以应对各类科学计算和深度学习任务。
einsum的基础使用
机器学习杂货铺1号店
07-21 9946
einsum全称为Einstein summation convention，是一种求和的范式，在很多基于多维张量的张量运算库，如numpy,tensorflow,pytorch中都有所应用。einsum可以用一种很简单的，统一的方式去表示很多多维张量的运算。让我们以numpy中的einsum为例子，理解这种运算表达方式。 这里贴出numpy中的einsum的API： numpy.eins...
import torch import torch.nn as nn import torch.nn.functional as F class HybridAttentionPooling(nn.Module): def __init__(self, d_model, num_heads=4, lstm_layers=2): super().__init__() # LSTM层，提取双向上下文信息 self.lstm = nn.LSTM( input_size=d_model, hidden_size=d_model, num_layers=lstm_layers, bidirectional=True, batch_first=True ) # 多头注意力池化层 self.num_heads = num_heads self.query = nn.Parameter(torch.randn(num_heads, d_model * 2)) # 使用LSTM的双向输出 self.scale = (d_model * 2) ** -0.5 # LSTM双向输出的维度 self.out_proj = nn.Linear(d_model * 2 * num_heads, d_model) self.norm = nn.LayerNorm(d_model) def forward(self, x): """ x : (B, L, d_model) 输入数据 """ B, L, _ = x.shape # 1. 使用LSTM提取双向上下文信息 lstm_out, _ = self.lstm(x) # (B, L, d_model*2) # 2. 使用查询向量与LSTM输出计算注意力 queries = self.query.unsqueeze(0) * self.scale # (1, num_heads, d_model*2) keys = lstm_out.transpose(1, 2) # (B, d_model*2, L) # 计算注意力得分 attn = torch.matmul( queries, # (1, num_heads, d_model*2) keys.unsqueeze(1) # (B, 1, d_model*2, L) ) # -> (B, num_heads, 1, L) attn = attn.squeeze(2) # (B, num_heads, L) # Softmax归一化 attn = F.softmax(attn, dim=-1) # 优化计算，避免 repeat_interleave 增加内存开销 lstm_out_heads = lstm_out.unsqueeze(1).expand(-1, self.num_heads, -1, -1) # (B, num_heads, L, d_model*2) # 聚合注意力加权和 attn_heads = attn.unsqueeze(-1) # (B, num_heads, L, 1) pooled = torch.sum(attn_heads * lstm_out_heads, dim=2) # (B, num_heads, d_model*2) # 展平为一个向量 pooled = pooled.reshape(B, -1) # (B, num_heads * d_model*2) # 线性变换到原始维度 pooled = self.out_proj(pooled) # 归一化 return self.norm(pooled)
最新发布
03-18
最后，需要总结这个类的功能，逐步说明每个部分的作用，以及整体流程，确保用户能够理解其工作机制和设计思路。以下是对`HybridAttentionPooling`模块的逐步解析： --- ### **1. 模块功能概述** 这是一个**混合...
一文详解Vision Transformer（附代码）
Paper weekly
01-19 2261
©PaperWeekly 原创 ·作者 | 孙裕道单位 | 北京邮电大学博士生研究方向 | GAN图像生成、情绪对抗样本生成引言Transformer 在 NLP 中大获成功，Visio...
einsum满足你一切需要：深度学习中的爱因斯坦求和约定
湛蓝的天空
04-30 2923
【编者按】FAIR研究科学家Tim Rocktäschel简要介绍了einsum表示法的概念，并通过真实例子展示了einsum的表达力。 当我和同事聊天的时候，我意识到不是所有人都了解einsum，我开发深度学习模型时最喜欢的函数。本文打算改变这一现状，让所有人都了解它！爱因斯坦求和约定（einsum）在numpy和TensorFlow之类的深度学习库中都有实现，感谢Thomas Viehman...
PYTORCH torch.einsum 函数
zl_gao的搬砖记录
09-10 2161
以爱因斯坦求和的形式任意定义想要进行的矩阵乘法的操作，可以内部指定输出转置，功能多样，形式灵活。 #theta_phi: nxtxg #g: nxcxg output = torch.einsum('ntg, ncg->nct', theta_phi, g) #output: nxcxt
torch.einsum() 用法说明
欢迎关注，共同进步！
12-25 5670
这里，j 是求和下标，i 和 k 是输出下标（有关原因的更多详细信息，请参见下面的部分）。例外情况是，如果对相同的输入操作数重复下标，在这种情况下，此操作数的标有此下标的维度必须在大小上匹配，并且操作数将被其沿这些维度的对角线替换。，它将覆盖下标未覆盖的维度，例如，对于具有 5 维的输入操作数，等式“ab…中的字母） ，用逗号 (‘,’) 分隔每个操作数的下标，例如’ij,jk’指定两个二维操作数的下标。中相同数量的维度，但省略号的“形状”（它们覆盖的维度的大小）必须一起传播。) – 爱因斯坦求和的下标。
Pytorch中, torch.einsum详解。
热门推荐
a2806005024的专栏
07-19 7万+
爱因斯坦简记法：是一种由爱因斯坦提出的，对向量、矩阵、张量的求和运算的求和简记法。 在该简记法当中，省略掉的部分是：1）求和符号与2）求和号的下标 省略规则为：默认成对出现的下标（如下例1中的i和例2中的k）为求和下标。 我们举例说明： 1）用简化表示内积 其中o为输出。 2) 用简化表示矩阵乘法 其中为输出矩阵的第ij个元素。 这样的求和简记法，能够以一种统一的方...
torch.einsum()用法举例
Jeff zhao
06-17 2724
import torch torch.manual_seed(1) x = torch.randn(1, 2, 3,4) A = torch.randn(3, 2) print("x:",x,'\n',"A.T:",A.T) ''' x: tensor([[[[-1.5256, -0.7502, -0.6540, -1.6095], [-0.1002, -0.6092, -0.9798, -1.6091], [ 0.4391, 1.1712, 1.76
PyTorch——通俗理解torch.einsum
beilizhang的博客
03-10 4999
参考链接 https://www.cnblogs.com/mengnan/p/10319701.html 从einsum表达式恢复为张量计算 torch.einsum一般这样用： result=torch.einsum(′xx,xx,xx→xx′,arg1,arg2,arg3)result=torch.einsum\left ( '\textrm{xx,xx,xx}\rightarrow \textrm{xx}',arg1,arg2,arg3\right )result=torch.einsum(′xx
Shift-GCN中Shift的实现细节笔记，通过torch.index_select实现
机器学习杂货铺1号店
11-12 2144
Shift-GCN中Shift的实现细节笔记，通过torch.index_select实现 FesianXu 20201112 at UESTC 前言 近期在看Shift-GCN的论文[1]，该网络是基于Shift卷积算子[2]在图结构数据上的延伸。在阅读源代码[3]的时候发现了其对于Non-Local Spatial Shift Graph Convolution有意思的实现方法，在这里简要记录一下。如有谬误请联系指出，转载请联系作者并注明出处，谢谢。 ∇\nabla∇ 联系方式： e-m.
Pytorch中的einsum
y473459100的博客
03-31 2891
本文主要介绍如何使用Pytorch中的爱因斯坦求和（einsum），掌握einsum的基本用法。 einsum的安装 在安装pytorch的虚拟环境下输入以下命令： pip install opt_einsum 爱因斯坦求和约定 在数学中，爱因斯坦求和约定是一种标记法，也称为Einstein Summation Convention，在处理关于坐标的方程式时十分有效。简单来说，爱因斯坦求和就是简化掉求和式中的求和符号,这样就会使公式更加简洁，如 三条基本规则 eins...
TensorRT - 使用torch普通算子组合替代torch.einsum爱因斯坦求和约定算子的一般性方法
HW140701的博客
10-08 4421
1 问题：TensorRT暂时未实现einsum算子 在ST-GCN中使用了爱因斯坦求和算子torch.einsum， def forward(self, x, A): assert A.size(0) == self.kernel_size x = self.conv(x) n, kc, t, v = x.size() x = x.view(n, self.kernel_size, kc//self.kernel_size, t, v)
torch.einsum函数笔记(爱因斯坦求和约定)
薛定谔的猫头咕咕咕
03-23 1813
爱因斯坦求和约定   爱因斯坦求和约定是可以将许多矩阵运算(向量内积、矩阵装置、高维矩阵乘法)简化的一套规则；利用这个函数，可以很方便地实现一些复杂的操作，同时使得代码紧凑； ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值