- 博客(13)
- 收藏
- 关注
RSS订阅原创 GitHub Issue 通用问题模板指南
运行环境信息：操作系统、硬件型号（如 Ascend 910B/A2）、驱动版本、CANN 版本、vLLM 版本等。当日志内容较长时，可以将日志保存为 .log 或 .txt 文件，直接拖拽到 Issue 编辑框中上传。提供可复现问题的最小步骤或命令，例如 curl 请求、Python 脚本等。选择模板后，按照模板中的字段逐一填写。标题写 "报错了" 或 "有问题"，没有任何具体信息。对问题的详细描述，包括现象、影响范围、复现概率等。按模板逐项填写，确保环境、描述、复现步骤完整。
2026-11-02 10:00:42
148
原创 GLM-5-w8a8 双机 DP=2 部署
背景：本文介绍了在昇腾NPU环境下，基于vLLM框架实现双机DP=2部署GLM-5-w8a8模型的具体方法。该模型采用w8a8量化技术，能够在保证推理精度的前提下有效降低显存占用。通过双机数据并行部署，可以突破单机显存限制，支撑更大规模模型的稳定运行。使用场景：本方案适用于昇腾NPU上的vLLM模型部署场景，特别适合需要跨机扩展推理能力的生产环境。GLM-5-w8a8模型可用于对话生成、文本理解等常见大语言模型任务。该部署方案可为开发者在硬件平台上高效运行推理服务提供参考。
2026-06-15 10:24:24
486
原创 Qwen3-VL-235B-A22B-Instruct-w8a8-QuaRot 单机部署
本文介绍了在昇腾单机服务器上部署Qwen3-VL-235B-A22B-Instruct-w8a8-QuaRot模型。
2026-06-03 15:29:29
278
原创 MiniMax-M2.7-W8A8 双机 DP=2 部署
本文介绍了在昇腾双机8卡服务器上部署MiniMax-M2.7-W8A8。适配：Ascend 910B，双机 16 卡 = TP=8 × DP=2镜像：`quay.io/ascend/vllm-ascend:v0.18.0rc1`
2026-05-20 11:09:13
449
原创 DeepSeek-V4-Flash-W8A8 双机 DP=2 部署
本文介绍了在昇腾双机8卡服务器上部署DeepSeek-V4-Flash-W8A8。
2026-05-19 11:06:02
1087
原创 Vllm-Ascend与Mindie-LLM的Profiling分析对比
创建docker容器（可选）安装Mindie-Turbo配置环境变量创建推理python脚本vim run.py这里使用Qwen2.5-7B进行对比，填入如下脚本，可根据实际情况调整prompts执行python脚本如果能够成功推理，进入如下路径执行如下指令采集Profiling由于在docker环境内，采集的Profiling数据由于权限问题无法导出，执行如下指令更改文件夹及文件夹内所有文件的权限。
2025-06-30 10:54:48
1404
原创 使用MindIE-LLM推理DeepSeek-V2-Lite与性能精度查看
下载DeepSeek-V2-Lite模型权重（魔塔社区）：下载好的模型权重如下所示： 2. 推理模型及性能精度查看配置推理环境变量：开启Benchmark，查看推理性能精度，统计模型首Token、增量Token及端到端推理时延：打开ATB Models的目录，找到DeepSeek-V2的模型推理文件：ATB Model中的DeepSeek-V2模型推理文件启动推理脚本，执行推理（自动输入文本“What's deep learning?”）： 修改文本内容、输入和输出再次进
2025-06-18 09:36:15
505
原创 InternVL2-8B模型MindSpeed-MM微调训练
如果转换权重过程中遇到包缺失，按照提示安装即可（如果timm缺失，安装过程中会自动将torch与torchvision更新，会导致与torch_npu版本不兼容，将torch降至2.1版本，将torchvison降至0.14.1版本即可）同步修改examples/internvl2/finetune_internvl2_8b.sh中的LOAD_PATH参数，该路径为转换后或者切分后的权重，注意与原始权重raw-ckpt/InternVL2-8B进行区分。过程中会自动拉取apex官方源码，请保证网络畅通。
2025-06-16 11:13:04
1106
原创 MindIE推理蒸馏模型DeepSeek-R1-Distill-Qwen-1.5B
本文介绍了使用与分别对轻量蒸馏模型进行纯模型推理与服务化推理。
2025-06-13 10:29:00
510
原创 使用后训练方法Ray GRPO训练Llama3.2-1B
在昇腾社区下载对应版本（rc版本、arm或x86架构）的镜像创建容器（修改容器名称与镜像ID）进入容器（修改容器名称）安装加速库检查版本安装相关依赖准备及源码检查版本替换文件安装其余依赖库。
2025-06-12 10:30:35
598
原创 Qwen2.5-7B量化推理性能测试
下载成功后打开数据集内json文件，将“answer only”、“split”、“question_zh”与“answer_zh”及其内容删除，只留下“question”与“answer”及其内容且合并到同一行，同时删除数据集首尾的“[”和“]”以及所有缩进，最终修改成下图格式即可（共8792条数据，8792行代码）如果报上述错误，说明下载数据集用户与当前docker镜像内的用户不一样，权限不足，执行如下指令查看数据集权限和所有权。（更新）已将修改后的数据集上传至modelscope，可直接下载使用。
2025-06-11 15:41:19
1423
原创 MindSpeed-RL训练DeepSeek-R1-Zero-Qwen25-7B
进入昇腾社区镜像仓库下载下图所示镜像（选择ubuntu版本，openeuler版本会报错）创建容器（修改容器名称与镜像ID）进入容器（修改容器名称）
2025-06-10 11:35:39
1323
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人