极智AI | 寒武纪 pytorch-mlu 添加逐层算子方法

已于 2022-06-21 21:46:51 修改
阅读量2.9k 收藏 2
点赞数 3
分类专栏： 极智AI 文章标签： pytorch 算法 深度学习 人工智能 芯片
于 2021-11-24 17:29:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42405819/article/details/121520614
版权
本文介绍了在寒武纪设备上使用PyTorch-MLU添加自定义逐层算子的详细步骤，包括算子注册、分发、OpMethods基类修改、下发、添加wrapper以及算子测试，以add算子为例进行说明，旨在帮助读者理解并实现在特定硬件上扩展深度学习模型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  欢迎关注我的公众号 [极智视界]，回复001获取Google编程规范

  O_o   >_<   o_O   O_o   ~_~   o_O

  本教程分享了在寒武纪设备上 pytorch-mlu 中添加逐层算子的方法。

  pytorch-mlu 逐层模式中算子间数据传递和存储的基本单元是 tensor。pytorch-mlu 根据 tensor 中的 device 属性值将算子分发到不同设备。以 abs() 算子为例，在 dispatch 阶段会根据 input_tensor 的设备属性值将算子调用分发到具体设备，逻辑如下图所示：

  Catch 通过注册添加 MLU 算子方式与 pytorch 源码解耦，下面介绍在 Catch 中添加 MLU 算子的具体步骤。

文章目录

1、注册算子

  在 catch/torch_mlu/csrc/generated/aten_mlu_type_default.cpp 中注册算子：


                

                
                
        

         

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    



                



	

		

			

				
					
极智AI：使用寒武纪 PyTorch-MLU 在模型中添加逐层算子方法

				
			

			

				

					Bsv___的博客
				

				

					09-21
					
					412
					
				

			

		

		

			
				
在上面的示例中，我们定义了一个名为 CustomModel 的模型类，其中包含了一个卷积层（conv1）、一个自定义层（custom_layer）和另一个卷积层（conv2）。逐层算子方法是指在模型的每一层中添加自定义算子，以实现特定的功能。寒武纪 PyTorch-MLU 提供了相应的接口和工具，使我们可以在模型中添加自定义算子，并在寒武纪加速器上高效地执行。通过使用寒武纪 PyTorch-MLU 扩展，我们可以方便地在模型中添加自定义算子，并利用寒武纪加速器的强大性能加速深度学习模型的推理过程。

			
		

	



                

            
              



	

		

			

				
					
寒武纪显卡实现rmsNorm算子

				
			

			

				

					forrestguang的博客
				

				

					06-05
					
					513
					
				

			

		

		

			
				
rmsNorm算子的数学定义
下面这个是针对一维向量的rmsNorm算子，对于高维向量，比如说形状为[A,B,C,D]的4维向量x，此时权重向量w长度默认为D，也就是说变换主要是针对axis=-1这个维度进行操作。关于寒武纪显卡的编程可以参考本人之前编写的文章添加链接描述和添加链接描述

rmsNorm算子的实现思路
由于寒武纪编程比较特殊，这里我们稍微复习一下寒武纪编程的特点：一张寒武纪显卡往往可以有8个或者4个cluster，其中一个cluster包含4个core，也就是说，对于4个cluster的显卡

			
		

	



              


  
              

                


	

		

			

				
					
0351-极智开发-解读寒武纪pytorch-mlu添加逐层算子的方法

				
			

			

				

					05-08
				

			

		

		

			
				
0351_极智开发_解读寒武纪pytorch-mlu添加逐层算子的方法

			
		

	





	

		

			

				
					
Pytorch添加自定义算子之（5）-配置GPU形式的简单add自定义算子

				
			

			

				

					baidu_28342107的博客
				

				

					02-27
					
					634
					
				

			

		

		

			
				
参考：https://zhuanlan.zhihu.com/p/358778742。

			
		

	



		

			
		



	

		

			

				
					
寒武纪mlu pytorch

				
			

			

				

					weixin_41205621的博客
				

				

					09-05
					
					659
					
				

			

		

		

			
				
使用寒武纪 MLU 和 PyTorch 实现机器学习模型
寒武纪 MLU 是一种用于加速深度学习计算的硬件平台，结合了 PyTorch，可以大幅提高模型训练和推理的效率。本文将详细介绍如何在寒武纪 MLU 上使用 PyTorch，并给出完整的实现步骤和代码示例。
流程概述
以下是实现过程的基本步骤：



步骤
描述


...

			
		

	





	

		

			

				
					
在国产GPU寒武纪MLU上快速上手Pytorch使用指南

				
			

			

				

					qq_39691492的博客
				

				

					12-20
					
					9384
					
				

			

		

		

			
				
在国产GPU寒武纪MLU上快速上手Pytorch使用指南

			
		

	





	

		

			

				
					
NNDL Pytorch入门之张量、算子与数据预处理

				
			

			

				

					qq_61291372的博客
				

				

					09-11
					
					1211
					
				

			

		

		

			
				
张量 数据预处理

			
		

	





	

		

			

				
					
极智AI | 寒武纪MLU270 源码编译 pytorch-mlu

				
			

			

				

					极智视界
				

				

					07-05
					
					2318
					
				

			

		

		

			
				
本教程详细记录了寒武纪MLU270推理卡上docker环境中源码编译 pytorch-mlu 的方法。

			
		

	





	

		

			

				
					
寒武纪PyTorch-MLU逐层算子添加方法解析

				
			

			

				

					
				

			

		

		

			
				
总结来说，将逐层算子添加到PyTorch以适配寒武纪的MLU是一个复杂的过程，涉及对PyTorch内部机制的深入了解、对MLU硬件特性的熟悉以及对性能调优的精确掌握。开发者必须在保证算子正确性和性能的前提下，完成算子的...

			
		

	





	

		

			

				
					
0350-极智开发-解读寒武纪MLU270源码编译pytorch-mlu

				
			

			

				

					05-08
				

			

		

		

			
				
0350_极智开发_解读寒武纪MLU270源码编译pytorch-mlu

			
		

	





	

		

			

				
					
算子实现_「专利解密」寒武纪AI芯片 混合拼接算子

				
			

			

				

					weixin_32848617的博客
				

				

					01-12
					
					530
					
				

			

		

		

			
				
【嘉德点评】寒武纪发明的AI芯片，借助于人工智能处理库中的常用算子，可以十分方便的完成卷积计算，同时，混合而成的拼接算子不仅可以提高运算效率，也能够节省开发成本。集微网消息，“寒武纪”是中国科学院计算技术研究所发布的全球首个能够“深度学习”的“神经网络”处理器芯片。它是给电脑创造出模仿人类大脑多层大规模人工神经网络的芯片。在深度学习处理器的运行当中，计算系统的运算能力提升是决定深度学习处理效率的关...

			
		

	





	

		

			

				
					
寒武纪MLU270安装运行Pytorch yolov3实录

				
			

			

				

					HC_wood的博客
				

				

					04-03
					
					2298
					
				

			

		

		

			
				
注：本教程仅供摩米实验室内部学习适用。

			
		

	





	

		

			

				
					
寒武纪显卡实现softmax算子

				
			

			

				

					forrestguang的博客
				

				

					01-10
					
					806
					
				

			

		

		

			
				
寒武纪实现softmax包括下面5个步骤，我们也采取5个kernel来实现softmax：unionMaxKernel(float* middle, float* source1, int num)，这个kernel使用的任务类型是union1，其中middle的长度为taskDim，达到的目的是middle对应元素存储的是不同taskId处理的那部分数据的局部max。

			
		

	





	

		

			

				
					
pytorch-YOLOv3移植到寒武纪

				
			

			

				

					椰子奶糖的博客
				

				

					07-16
					
					2335
					
				

			

		

		

			
				
pytorch-YOLOv3移植到寒武纪
文章目录pytorch-YOLOv3移植到寒武纪参考新建dockermake caffecaffe扩展pip install torch转换结果修改
参考

1、Darknet2Caffe 大概步骤
2、ChenYingpeng/darknet2caffe
3、基于Docker的Caffe编译（CUDA11的makefile版）

caffe的编译是用我的这个博客，只用到caffe编译部分：


4、官方镜像园
5、ImportError:No module nam

			
		

	





	

		

			

				
					
告别 GPU 依赖！Torch-MLU 让 PyTorch 秒变“MLU 原住民“

					
最新发布

				
			

			

				

					holdcloud的博客
				

				

					09-18
					
					661
					
				

			

		

		

			
				
在人工智能浪潮席卷全球的今天，每一位开发者都在追逐着更快、更强、更高效的计算能力。然而，长期以来，GPU的"一家独大"却让许多研究者和企业陷入了依赖的困境。但是，一个名为Torch-MLU的"黑马"正在悄然崛起，它不仅打破了GPU的垄断，更为AI开发者们带来了前所未有的自由与可能。

			
		

	





	

		

			

				
					
yolov8/yolov10 MLU370 实现推理/单多卡训练！

				
			

			

				

					xiaojunjun200211的博客
				

				

					08-15
					
					2380
					
				

			

		

		

			
				
本章主要操作以yolov8为主，但是yolov10用该操作也能直接适用，开干！

			
		

	





	

		

			

				
					
MLU100设备插件（Kubernetes）

				
			

			

				

					chengyuming123的博客
				

				

					06-21
					
					1938
					
				

			

		

		

			
				
本插件是基于intel-device-plugin实现，由于设备的挂载、调⽤等接⼝与设备类型⽆关，所以只需修改scan接⼝即可。
部署过程：

1. 下载intel-device-plugin


$ mkdir -p $GOPATH/src/github.com/intel/
$ cd $GOPATH/src/github.com/intel/
$ git clone https://githu...

			
		

	





	

		

			

				
					
面向对象的深入

				
			

			

				

					u012246617的博客
				

				

					04-19
					
					501
					
				

			

		

		

			
				
面向对象三大特征介绍

Python是面向对象的语言，也支持面向对象编程的三大特性:继承、封装(隐藏)、多态。

•封装(隐藏)

隐藏对象的属性和实现细节，只对外提供必要的方法。相当于将"细节封装起来"，只

对外暴露"相关调用方法"。

通过前面学习的"私有属性、私有方法"的方式，实现"封装"。Python追求简洁的

语法，没有严格的语法级别的"访问控制符”，更多的是依靠程序员自觉实现。

•继承

继承可以让子类具有父类的特性，提高了代码的重用性。

从设计上是一种增量进化，原有父类设计不变的情况.

			
		

	





	

		

			

				
					
《智能计算系统》实验-7-1-YOLOv3

					
热门推荐

				
			

			

				

					XSteady.G
				

				

					12-21
					
					1万+
					
				

			

		

		

			
				
中科院计算所《智能计算系统》综合实验7-1实验流程，以及需要注意的问题，整个实验采用BangCL语言。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
极智视界

			
你的支持 是我持续创作的动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值