昇腾Ascend310b部署deepseek-r1-7b的学习记录

1.DeepSeek R1 && Ascend全国产化大模型推理本地化部署教程它来了
https://blog.youkuaiyun.com/weixin_50005386/article/details/145461999

2.配置启智Ascend环境
https://bbs.huaweicloud.com/blogs/429548

3.昇腾大模型推理解决方案MindIE部署
https://blog.youkuaiyun.com/weixin_50005386/article/details/142389458

4.MindIE镜像地址:镜像仓库网
http://mirrors.cn-central-221.ovaijisuan.com/mirrors.html


5.如何使用昇腾Ascend 300I Pro 310P芯片 单卡运行DeepSeek-R1-Distilled-Qwen-7B
https://blog.youkuaiyun.com/aosudh/article/details/146044037

6.鲲鹏服务器+昇腾卡(Atlas 300I pro)搭建DeepSeek-R1-Distill-Qwen-7B
https://blog.youkuaiyun.com/fuhanghang/article/details/146070015

7.鲲鹏+昇腾部署DeepSeek-R1-Distill-Qwen-32B+Open-webui
https://blog.youkuaiyun.com/fuhanghang/article/details/146069250

8.MindIE镜像预置了DeepSeek-R1-Distill-Qwen-7B模型推理脚本
https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/MindIE/LLM/DeepSeek/DeepSeek-R1-Distill-Qwen-7B

9.鲲鹏服务器+昇腾卡(Atlas 300I pro)搭建DeepSeek-R1-Distill-Qwen-7B(自己存档详细版)
https://blog.youkuaiyun.com/mizhiakk/article/details/145604232

10.在Ascend 昇腾310P3推理卡上的镜像环境搭建
https://blog.youkuaiyun.com/m0_68878542/article/details/136036995

11.在华为昇腾服务器Ascend 300I Pro 310P芯片( 310P3)安装QWQ32B大模型以及deepseek蒸馏版!
https://blog.youkuaiyun.com/ssp584731180/article/details/146158459

12.语言模型deepseek部署到华为昇腾NPU的详细步骤
https://2048.youkuaiyun.com/67f8c029da5d787fd5cac3bf.html

13.AES200物理机部署DeepSeek-R1蒸馏模型
https://blog.youkuaiyun.com/shiner_chen/article/details/145533011

14.【昇腾开发者训练营:Dify大模型部署实战】MindIE + Dify + DeepSeek + Embedding模型 + Rerank模型
https://blog.youkuaiyun.com/weixin_45653525/article/details/148176098

15.基于昇腾MindIE与GPUStack的大模型容器化部署从入门到入土
https://blog.youkuaiyun.com/weixin_45631123/article/details/146123447

16.GPUStack昇腾Atlas300I duo部署模型DeepSeek-R1【GPUStack实战篇2】
https://blog.youkuaiyun.com/mizhiakk/article/details/147554405

17.在昇腾GPU上部署DeepSeek大模型与OpenWebUI:从零到生产的完整指南
https://blog.youkuaiyun.com/weixin_45631123/article/details/146113465

18.华为昇腾使用ollama本地部署DeepSeek大模型
https://blog.youkuaiyun.com/weixin_42554470/article/details/148186335

Ascend HDK
cann

19.昇腾服务器/开发板安装CANN+MindSpore教程
https://zhuanlan.zhihu.com/p/719099792

20.docker + vllm 从零开始快速上手, 以部署DeepSeek-R1-Distill-Qwen-7B为例
https://blog.youkuaiyun.com/kesanzz/article/details/145791965

21.DeepSeek-容器化(Docker)部署vLLM和Open WebUI
https://cloud.tencent.com/developer/article/2502689


22.赋范大模型技术社区
https://github.com/fufankeji/LLMs-Technology-Community-Beyondata
https://github.com/fufankeji/LLMs-Technology-Community-Beyondata/tree/main/Open-source-model
《赋范大模型技术社区》是针对各阶大模型学习者量身打造的基于各类大模型,包括环境设置、本地部署、高效微调、开发实战等技能在内的全流程指导!
 

### 升腾310部署学习 #### 特性和优势 升腾310是一款专为端侧设计的高性能、低功耗处理器,适合用于深度学习推理应用。该芯片具备以下特性: - **高效能低功耗**:采用7纳米制程技术,实现了卓越的能量效率,在提供强劲性能的同时维持较低能耗,特别适用于嵌入式设备和边缘计算场景[^1]。 - **强大的运算能力**:可实现最高达16 TOPS的整数操作以及8 TFLOPS的浮点运算速度,足以应对复杂度较高的神经网络模型的需求。 - **多样化的接口支持**:配备有PCIe、I2C、UART等多种通信接口选项,便于与其他硬件组件集成,适应更广泛的使用场合。 - **全面覆盖的人工智能应用场景**:不仅限于视觉领域内的图片分类、目标检测等功能,还扩展到了音频分析、文本理解等方面,展现了其灵活性与多功能性。 - **完善的开发环境**:提供了诸如MindSpore在内的多个流行机器学习平台的支持,简化了从算法研发到实际产品落地的过程。 #### 实际部署流程 为了更好地理解和实践如何利用升腾310进行项目构建,下面给出一个简单的Python脚本作为示例,展示怎样加载预训练好的YOLOv5模型并将其转换成OM文件格式以便在Ascend平台上运行[^3]: ```python from yolov5.utils.general import LOGGER, check_requirements import torch.onnx as onnx import os def convert_to_onnx(model_path='yolov5s.pt', save_dir='./'): """ 将给定路径下的PyTorch YOLOv5模型导出为ONNX格式. 参数: model_path (str): PyTorch .pt 文件的位置,默认'yolov5s.pt'. save_dir (str): 输出 ONNX 文件保存目录,默认当前工作目录 './' . 返回值: str: 转换后的 ONNX 文件绝对路径. """ # 加载模型 device = 'cpu' model = attempt_load(weights=model_path, map_location=device) input_names = ["image"] output_names = ['output'] dynamic_axes = {'image': {0: 'batch_size'}, # 动态批次大小 'output': {0: 'batch_size'}} dummy_input = torch.randn(1, 3, 640, 640).to(device) onnx_file_name = f"{os.path.splitext(os.path.basename(model_path))[0]}.onnx" export_path = os.path.join(save_dir, onnx_file_name) with open(onnx_file_name, "wb") as f: torch.onnx.export( model, args=dummy_input, f=f, opset_version=11, do_constant_folding=True, input_names=input_names, output_names=output_names, dynamic_axes=dynamic_axes ) return os.path.abspath(export_path) if __name__ == '__main__': converted_model_path = convert_to_onnx() print(f"Model has been successfully exported to ONNX format at location:\n{converted_model_path}") ``` 此代码片段展示了如何通过`torch.onnx.export()`函数把标准的`.pt`格式的YOLOv5权重转化为兼容Ascend架构所需的中间表示形式——即ONNX文件。之后还可以进一步借助官方提供的工具链完成最终针对特定硬件优化过的OM版本生成.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值