三步实现BERT模型迁移部署到昇腾

原创

于 2023-09-22 17:32:44 发布 · 283 阅读

0 ·

CC 4.0 BY-SA版权

文章详细描述了如何从构建基础镜像开始，通过MindSpore和CANN安装，迁移BERT模型并在D310P上进行容器部署。还介绍了性能评估过程，展示了不同工作线程下NPU的使用率和QPS。

摘要：本文从镜像构建、容器部署到性能评估，完成bert模型昇腾迁移部署案例。

本文分享自华为云社区《bert模型昇腾迁移部署案例》，作者：AI印象。

镜像构建

1. 基础镜像(由工具链小组统一给出D310P的基础镜像)

From xxx

2. 安装mindspore 2.1.0，假定whl包和tar包已经下载到本地，下载地址：https://www.mindspore.cn/lite/docs/zh-CN/r2.0/use/downloads.html

ADD . /usr/local/
RUN cd /usr/local && \
    pip install mindspore_lite-2.1.0-cp37-cp37m-linux_x86_64.whl && \
    tar -zxvf mindspore-lite-2.1.0-linux-x64.tar.gz && \
    ln -s /usr/local/mindspore-lite-2.1.0-linux-x64 /usr/local/mindspore-lite复制

3. 安装cann包6.3.RC2版本，假定也下载到本地，下载地址：

最低0.47元/天解锁文章