AI 编译器学习笔记之四 -- cann接口使用

1、安装昇腾依赖

# CANN发布件地址

https://cmc.rnd.huawei.com/cmcversion/index/releaseView?deltaId=10274626629404288&isSelect=Software&url_data=run

Ascend-cann-toolkit_8.0.T15_linux-aarch64.run

Ascend-cann-nnal_8.0.T15_linux-aarch64.run

Ascend-cann-kernels-910b_8.0.T15_linux.run

# torch_npu (注意版本匹配，torch版本为2.1.0)

https://cmc-szv.clouddragon.huawei.com/cmcversion/index/releaseView?deltaId=10365017745917184&isSelect=Inner

pip install torch_npu-2.1.0.post6.dev20240716-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

# 下载NLTK data， 参考 https://blog.youkuaiyun.com/u010099177/article/details/102900515

# 将nltk_data放到对应conda目录下

2、cann迭代更新非常快，因此查阅时注意版本号的选择

简介-性能分析工具-训练推理开发工具-开发工具-CANN商用版8.0.RC2开发文档-昇腾社区

3、采用优先使用msprof, 但是需要安装Ascend-cann-tookit开发套件包

分包安装： bash Ascend-cann-toolkit_8.0.RC2_linux-aarch64.run --install --install-path=/pathdir

msprof --application="run yourApp" --output=./profile --ascendcl=on --model-execution=on --runtime-api=on --task-time=on --aicpu=on --ai-core=on --aic-mode=task-based --aic-metrics=PipeUtilization --sys-hardware-mem=on

 Ascend PyTorch Profiler接口采集-使用PyTorch框架接口采集-其他采集方式介绍-性能分析工具-开发工具-CANN社区版8.0.RC2.alpha001开发文档-昇腾社区 (hiascend.com)

.json文件可以通过chrome://tracing/打开，W-放大，S-缩小，A-向左，D-向右 

4、社区地址及最新资源

           昇腾开发者社区：昇腾社区官网-昇腾万里 让智能无所不及

           gitee社区：Ascend: 昇腾万里，让智能无所不及

           昇腾论坛：https://www.hiascend.com/forum/forum-0163125572293226003-1.html

           Ascend C聚合页：昇腾Ascend C-昇腾社区

           CANN社区版软件包：昇腾社区-官网丨昇腾万里 让智能无所不及

           Ascend C开发者文档：Ascend C简介-Ascend C算子开发-算子开发-CANN社区版8.0.RC3.alpha003开发文档-昇腾社区

5、CANN-AICPU算子开发-优快云博客 

6、整理的内存流水，包括MTE1 （L1出发）, MTE2（DDR/L2出发）, MTE3（UB出发）

7、算子开发启蒙

Ascend C保姆级教程：我的第一份Ascend C代码-云社区-华为云 (huaweicloud.com)

【2024第一期CANN训练营】Ascend C算子开发进阶篇_ascend c算子sinh, tiling-优快云博客

https://www.hiascend.com/doc_center/source/zh/canncommercial/63RC2/inferapplicationdev/aclcppdevg/aclcppdevg_0135.html

8、小模型modelslim工具量化 - 基站平台OM开发部 - 3ms知识管理社区 (huawei.com)

9、 在cann安装包中可以查询当前版本是否已经支持特定算子，比如ascend310p平台

ascend-toolkit/8.0.T900/opp/built-in/op_impl/ai_core/tbe/config/ascend310p/aic-ascend310p-ops-info.json

对应的代码仓：

   ascendc: asl/ops/cann/ops/built-in/op_host/ tbe:asl/ops/cann/ops/built-in/tbe/op_info_cfg/ai_core/ascend310p/aic-ascend310p-ops-info.ini

10、还需要安装驱动

Ascend HDK 系列 昇腾计算23.0.3 软件补丁下载 - 华为