pytorch einsum 矩阵乘 浅显易懂解释

最新推荐文章于 2025-05-04 18:07:33 发布
原创 最新推荐文章于 2025-05-04 18:07:33 发布 · 1.9k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#矩阵 #pytorch #python

该博客介绍了如何利用PyTorch中的einsum函数进行矩阵乘法操作。通过实例解析了'einsum'的字符串表示法，展示了它如何等价于传统的矩阵乘法和张量相乘。einsum简化了多维数组间的复杂运算，适用于(197x96)x(197x96)和(197x197)x(197x96)的矩阵计算，验证了运算结果的正确性。

einsum用于矩阵乘法
直接上例子吧
比如

'bhqd, bhkd -> bhqk'

虽然是4维，但是前两维是不变的，先不看，只看后2维，qd, kd -> qk
这是两个矩阵相乘，两个矩阵的shape分别为A=qxd, B=kxd, 得到的结果形状是C =qxk
根据矩阵乘法，我们知道(qxd) x (dxk)结果的形状为qxk，
也就是说上面相当于是AxBT=C

验证一下

energy = torch.einsum('bhqd, bhkd -> bhqk', queries, keys)
print('energy.shape',energy.shape)


                

                
                
        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
【人工智能-初级】第6章 决策树和随机森林：浅显易懂的介绍及Python实践

				
			

			

				

					若北辰
				

				

					10-18
					
					1920
					
				

			

		

		

			
				
决策树（Decision Tree）是一种树状结构的监督学习算法，可以用于分类和回归任务。它通过递归地将数据划分成不同的子集，直至每个子集只包含一个类别（对于分类问题）或达到某种特定的条件（对于回归问题）。决策树非常直观，类似于人们在做决定时的思维过程。例如，在判断是否买房时，可能会依次考虑预算、房屋位置和是否满足个人需求等因素。决策树的结构由节点（node）和边（branch）组成，节点表示数据特征，边表示根据特征划分的数据路径。

			
		

	



                

            
              



	

		

			

				
					
C. PYTORCH 101 AN INTRODUCTION TO DEEP LEARNING USING PyTorch

				
			

			

				

					AI天才研究院
				

				

					08-04
					
					838
					
				

			

		

		

			
				
2019年已经过去了十几年了，人工智能领域的火爆已经在持续多年的时间里。深度学习(deep learning)及其相关的框架比如PyTorch、TensorFlow等已经逐渐成为主流。现在越来越多的人开始从事基于深度学习的应用开发工作，通过学习PyTorch来加速机器学习的研究进程。PyTorch是一个由Facebook和Google开源的用于科研和工程实践的深度学习框架。

			
		

	



              


  
              

                


	

		

			

				
					
【Pytorch】einsum

				
			

			

				

					weixin_44413191的博客
				

				

					09-23
					
					417
					
				

			

		

		

			
				
本文为 Pytorch 学习笔记，讲解爱因斯坦简记法。

			
		

	





	

		

			

				
					
pytorch中einsum用法总结

				
			

			

				

					weixin_48018951的博客
				

				

					02-22
					
					1296
					
				

			

		

		

			
				
pytorch中enisum用法总结。爱因斯坦求和约定（einsum）提供了一套既简洁又优雅的规则，可实现包括但不限于：向量内积，向量外积，矩阵乘法，转置和张量收缩（tensor contraction）等张量操作，熟练运用 einsum 可以很方便的实现复杂的张量操作，而且不容易出错。

			
		

	



		

			
		



	

		

			

				
					
AlphaFold2源码解析(7)--模型之Evoformer

				
			

			

				

					发呆的比目鱼的博客
				

				

					12-04
					
					3219
					
				

			

		

		

			
				
AlphaFold2源码解析(7)--模型之Evoformer

			
		

	





	

		

			

				
					
矩阵相乘torch.einsum()

				
			

			

				

					virus111222的博客
				

				

					06-05
					
					879
					
				

			

		

		

			
				
einsum。

			
		

	





	

		

			

				
					
深度学习矩阵乘法的终极奥义einsum，结合多个计算框架上的使用

				
			

			

				

					BoCong-Deng的博客
				

				

					11-09
					
					3229
					
				

			

		

		

			
				
einsum以一种优雅的方式，表示各种矩阵运算，好处在于你不需要去记和使用计算框架中（TensorFlow|PyTorch|Numpy）点积、外积、转置、矩阵-向量乘法、矩阵-矩阵乘法的函数名字和签名。从某种程度上解决引入不必要的张量变形或转置运算，以及可以省略的中间张量的现象。不仅如此，einsum有时可以编译到高性能代码，事实上，PyTorch最近引入的能够自动生成GPU代码并为特定输入尺寸自动调整代码的张量理解（Tensor Comprehensions）就基于类似einsum的领域特定语言。此外，可

			
		

	





	

		

			

				
					
【浅显易懂系列】Pytorch快速认识和掌握向量乘积运算

				
			

			

				

					weixin_39188311的博客
				

				

					09-11
					
					1076
					
				

			

		

		

			
				
在PyTorch中，向量和矩阵之间的不同乘积操作非常关键，尤其是在进行深度学习模型构建和数学运算时。下面，我将详细解释您提到的几种乘积类型，并提供具体的代码示例和使用场景。

			
		

	





	

		

			

				
					
小土堆pytorch--tensorboard的使用

					
最新发布

				
			

			

				

					2302_80295520的博客
				

				

					05-04
					
					1543
					
				

			

		

		

			
				
浅显易懂的小土堆-pytorch的学习笔记--tensorboard

			
		

	





	

		

			

				
					
pytorch einsum, numpy einsum

				
			

			

				

					bagba的知识分享库
				

				

					04-19
					
					625
					
				

			

		

		

			
				
什么是einsum?
爱因斯坦求和约定：
https://zhuanlan.zhihu.com/p/101157166
https://en.wikipedia.org/wiki/Einstein_notation

为什么用?
简洁, 强大
具体例子
pytorch和numpy一样的，这里以pytorch为例.
矩阵乘矩阵, C = A x B
eg1. (ij, jk -> ik), 实际上就是
[C]ik=∑j[A]ij×[B]jk
[C]_{ik} = \sum_{j} [A]_{ij} \t

			
		

	





	

		

			

				
					
PyTorch 对应点相乘、矩阵相乘实例

				
			

			

				

					12-23
				

			

		

		

			
				
一，对应点相乘，x.mul(y) ，即点乘操作，点乘不求和操作，又可以叫作Hadamard product；点乘再求和，即为卷积

data = [[1,2], [3,4], [5, 6]]
tensor = torch.FloatTensor(data)
tensor
Out[27]:
tensor([[ 1., 2.],
    [ 3., 4.],
    [ 5., 6.]])
tensor.mul(tensor)
Out[28]:
tensor([[ 1.,  4.],
    [ 9., 16.],
    [ 25., 36.]])
二，矩阵相乘，x.mm(y) ， 矩阵大小需满

			
		

	





	

		

			

				
					
pytorch中的einsum函数

				
			

			

				

					weixin_44394368的博客
				

				

					07-21
					
					2552
					
				

			

		

		

			
				
einsum函数
einsum函数在文档中的解释为：

即，该函数提供了一种使用爱因斯坦求和约定来计算多线性表达式的方法（即乘积和）
爱因斯坦求和约定（Einstein summation convention）
关于爱因斯坦求和约定的详细运算过程参考知乎大佬的回答：https://zhuanlan.zhihu.com/p/46006162以及B站up的视频：https://www.bilibili.com/video/BV1ot411V71V？from=search&seid=9196910873

			
		

	





	

		

			

				
					
pytorch操作稀疏矩阵相乘

				
			

			

				

					qq_41111734的博客
				

				

					01-05
					
					5879
					
				

			

		

		

			
				
这是一个用pytorch操作稀疏矩阵的实例
在您需要操作很大的矩阵，例如100000100000大小，电脑存不下去的时候，可以考虑使用稀疏矩阵进行计算。注意pytorch只允许sparse和dense操作，不允许sparse和sparse相乘。在这个例子中，100000100000的矩阵和1000001000的矩阵相乘，结果是1000001000
from scipy.sparse import csc_matrix,find
import numpy as np
import torch
data1 = 

			
		

	





	

		

			

				
					
pytorch中einsum详解

				
			

			

				

					欢迎来到道的世界
				

				

					12-20
					
					5008
					
				

			

		

		

			
				
引言
 在线性代数里，经常会遇到各种计算操作符号，比如矩阵的点积，外积，HHH积，KKK积，转置等。爱因斯坦求和约定提供了一套简单优雅的规则可以实现以上操作，目的是省略掉求和公式中的求和号“+”。

 定义（爱因斯坦求和约定）：如果两个相同的指标出现在指标符号公式的同一项中，则表示对该指标遍历整个取值范围求和。

爱因斯坦求和约定具体的规则可以归结为如下几条

在同一项中，如果同一指标成对出现，就表示遍历其取值范围求和
公式中成对出现的指标叫做哑指标亦或哑标，表示哑标的小写字母可以用另一个小写字母替换，并且

			
		

	





	

		

			

				
					
einsum pytorch和numpy

				
			

			

				

					lbj23hao1的博客
				

				

					11-22
					
					1113
					
				

			

		

		

			
				
np.einsum和torch.einsum均使用一致的签名einsum(equation, operands)

   其中equation是表示爱因斯坦求和约定字符串，而operands则是张量序列（numpy和tensorflow中是变长参数列表，而在pytorch中是列表）cj=∑i∑kAikBkj写成equation字符串就是ik,kj -> j。注意这里(i, j, k)的命名是任意的，但需要一致。
   PyTorch和TensorFlow像numpy支持einsum的好处之一是eins

			
		

	





	

		

			

				
					
【Pytorch】科研代码技巧—Einsum爱因斯坦求和约定

				
			

			

				

					炼丹笔记
				

				

					09-22
					
					2377
					
				

			

		

		

			
				
不知大家在看论文代码的时候是否会常常看见 torch.einsum()，这玩意儿看起来是真的抽象，但是深入了解后发现它原来这么好用。

			
		

	





	

		

			

				
					
pytorch中矩阵乘法运算总结

				
			

			

				

					weixin_53697800的博客
				

				

					09-10
					
					990
					
				

			

		

		

			
				
与torch.mm类似，但多了一个batch_size维度，矩阵张量1维度是(b×m×n)，矩阵张量2维度是(b×n×p)，输出维度为(b×m×p)的矩阵，b是1D，可以视为行向量或者列向量均可，在进行矩阵乘法axb时，需要满足a的列数=b的行数，广播机制后可以进行运算，size为(10,3): 1D、2D 或更高维度的张量，PyTorch 会根据张量的维度自动选择合适的乘法操作。更通用，可以处理高维度的张量。: 用于各种矩阵乘法场景，比。3D的第一个维度当作是批量。

			
		

	





	

		

			

				
					
pytorch 多维矩阵相乘（爱因斯坦求和约定）

				
			

			

				

					zsycode的博客
				

				

					11-28
					
					7100
					
				

			

		

		

			
				
torch.einsum(equation, *operands) → Tensor

该函数提供了一种使用爱因斯坦求和约定来计算多线性表达式（即乘积和）的方法。

Parameters:

等式（string） - 该等式根据与操作数和结果的每个维度相关联的小写字母（索引）给出。左侧列出了操作数尺寸，以逗号分隔。每个张量维度应该有一个索引字母。右侧跟在->之后，并给出输出的索引...

			
		

	





	

		

			

				
					
来用pytorch稀疏矩阵为你的显卡减减负吧

				
			

			

				

					qq_36618444的博客
				

				

					08-19
					
					5074
					
				

			

		

		

			
				
我在之前用自己的破MX150显卡搞GAT的时候由于网络的size太大导致内存爆表了，当时就想能不能用稀疏矩阵代替，因为图神经网络中出现的大多数都是稀疏图，计算量没有那么大的，但是搞了半天也没明白。这次在读github上的一个代码时候偶然得手，因此屁颠屁颠记下来。
准备工作
首先，你得有GUDA并且配好。这个我在之前的博客里写了：https://blog.youkuaiyun.com/qq_36618444/article/details/105774480。
然后，你的pytorch也得适配这个CUDA版本吧，去pyt

			
		

	





	

		

			

				
					
pytorch einsum

				
			

			

				

					07-27
				

			

		

		

			
				
PyTorch中的`torch.einsum`函数是一个用于执行张量运算的强大工具。它可以根据指定的公式对输入张量进行操作，并生成输出张量。  引用\[1\]中提供了一些常见的用法示例。例如，可以使用`torch.einsum`计算矩阵的行和...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
蓝羽飞鸟

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值