昇腾910B部署阿里通义千问QWQ32B+接入Dify

折腾了好久才成功，留着当个笔记吧

参考官方页面qwq-32b，但是官方页面很多东西没讲清楚，只能自己一步一步摸索；

一、准备模型和镜像

模型在魔乐社区下载，昇腾应该是只支持BF16的，之前在modelscope下载的模型都失败了。

昇腾镜像qwq-32b：需要准备华为账号申请，审核时间我登了4天，真妮玛慢

二、Docker启动镜像

docker创建命令：注意用--net=host，后面接入dify的时候在这里踩了个坑，虽然我也不知道为什么

docker run -it -d --net=host --shm-size=100g \
    --name qwq32b \
    --device=/dev/davinci_manager \
    --device=/dev/hisi_hdc \
    --device=/dev/devmm_svm \
    --device=/dev/davinci0 \
    --device=/dev/davinci1 \
    --device=/dev/davinci2 \
  &nb