概述
为了熟悉Ascend接入框架的流程,以1_add_frameworklaunch作为示例进行分析。在执行过程中遇到了众多困难。做以下记录。
基础环境搭建
1. 建议使用docker,按照下述链接安装docker和docker镜像。
docker安装
昇腾dockerhub
注意:最好使用pytorch2.1,python3.9的版本,不然要修改代码
2. 修复使用问题:
- yum无法使用,报错:
Traceback (most recent call last):
File "/usr/bin/yum", line 57, in <module>
from dnf.cli import main
ModuleNotFoundError: No module named 'dnf'
解决方案:将/usr/bin/yum最上面的/usr/bin/python3修改为/usr/bin/python3.7
- gcc 版本不足,PytorchInvocation会报错,gcc版本需要大于7。
按照以下链接更新gcc 升级gcc
尽量更新gcc 10 ,gcc 12会有包版本不够。
执行
- 先安装一些后面需要用到的库
pip3 install expecttest
pip3 install packaging
pip3 install hypothesis
pip3 install wheel
pip3 install cmake
- 首先构建最初始的算子包, -v 后面是计算卡的型号,可使用npu-smi info查看
bash install.sh -v Ascend910B3
- 目录出现CustomOp,执行算子的编译
bash build.sh
- 将算子安装到cann包中,安装前可source set_env.sh 来添加算子安装的cann包位置
./build_out/*.whl
- 执行其他的算子接入框架方式,按照README.md即可。(AclNNInvocation,AclNNInvocationNaive,AclOfflineModel,AclOnlineModel,AddCustom,CppExtensionInvocation)
- 执行PytorchInvocation,需要git安装部分库。gcc需要大于7。其他根据README.md即可。
如果gcc版本不足,则会出现以下错误。
fatal error: filesystem: No such file or directory #include <filesystem>
附录:
其他问题:
- 找不到aclnnAddCustom
RuntimeError: aclnnAddCustom or aclnnAddCustomGetWorkspaceSize not in libopapi.so, or libopapi.sonot found.ERR01004 OPS invalid pointer
手动添加自定义算子的安装位置
export LD_LIBRARY_PATH=$ASCEND_HOME_PATH/vendors/customize/op_api/lib/:$LD_LIBRARY_PATH
- gcc版本过高
ImportError: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.29' not found (required by /usr/local/python3.9.2/lib/python3.9/site-packages/torch_npu/_C.cpython-39-aarch64-linux-gnu.so) ERROR: run custom op failed!
- 看着需要操作的东西不多,但部分问题还是需要摸索才能解决。