- 博客(8)
- 收藏
- 关注
RSS订阅原创 Vllm-Ascend与Mindie-LLM的Profiling分析对比
创建docker容器（可选）安装Mindie-Turbo配置环境变量创建推理python脚本vim run.py这里使用Qwen2.5-7B进行对比，填入如下脚本，可根据实际情况调整prompts执行python脚本如果能够成功推理，进入如下路径执行如下指令采集Profiling由于在docker环境内，采集的Profiling数据由于权限问题无法导出，执行如下指令更改文件夹及文件夹内所有文件的权限。
2025-06-30 10:54:48
1051
原创 使用MindIE-LLM推理DeepSeek-V2-Lite与性能精度查看
下载DeepSeek-V2-Lite模型权重（魔塔社区）：下载好的模型权重如下所示： 2. 推理模型及性能精度查看配置推理环境变量：开启Benchmark，查看推理性能精度，统计模型首Token、增量Token及端到端推理时延：打开ATB Models的目录，找到DeepSeek-V2的模型推理文件：ATB Model中的DeepSeek-V2模型推理文件启动推理脚本，执行推理（自动输入文本“What's deep learning?”）： 修改文本内容、输入和输出再次进
2025-06-18 09:36:15
319
原创 InternVL2-8B模型MindSpeed-MM微调训练
如果转换权重过程中遇到包缺失，按照提示安装即可（如果timm缺失，安装过程中会自动将torch与torchvision更新，会导致与torch_npu版本不兼容，将torch降至2.1版本，将torchvison降至0.14.1版本即可）同步修改examples/internvl2/finetune_internvl2_8b.sh中的LOAD_PATH参数，该路径为转换后或者切分后的权重，注意与原始权重raw-ckpt/InternVL2-8B进行区分。过程中会自动拉取apex官方源码，请保证网络畅通。
2025-06-16 11:13:04
903
原创 MindIE推理蒸馏模型DeepSeek-R1-Distill-Qwen-1.5B
本文介绍了使用与分别对轻量蒸馏模型进行纯模型推理与服务化推理。
2025-06-13 10:29:00
359
原创 使用后训练方法Ray GRPO训练Llama3.2-1B
在昇腾社区下载对应版本（rc版本、arm或x86架构）的镜像创建容器（修改容器名称与镜像ID）进入容器（修改容器名称）安装加速库检查版本安装相关依赖准备及源码检查版本替换文件安装其余依赖库。
2025-06-12 10:30:35
471
原创 Qwen2.5-7B量化推理性能测试
下载成功后打开数据集内json文件，将“answer only”、“split”、“question_zh”与“answer_zh”及其内容删除，只留下“question”与“answer”及其内容且合并到同一行，同时删除数据集首尾的“[”和“]”以及所有缩进，最终修改成下图格式即可（共8792条数据，8792行代码）如果报上述错误，说明下载数据集用户与当前docker镜像内的用户不一样，权限不足，执行如下指令查看数据集权限和所有权。（更新）已将修改后的数据集上传至modelscope，可直接下载使用。
2025-06-11 15:41:19
1145
原创 MindSpeed-RL训练DeepSeek-R1-Zero-Qwen25-7B
进入昇腾社区镜像仓库下载下图所示镜像（选择ubuntu版本，openeuler版本会报错）创建容器（修改容器名称与镜像ID）进入容器（修改容器名称）
2025-06-10 11:35:39
1178
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人