系列文章目录
玩转大语言模型——使用langchain和Ollama本地部署大语言模型
玩转大语言模型——三分钟教你用langchain+提示词工程获得猫娘女友
玩转大语言模型——ollama导入huggingface下载的模型
玩转大语言模型——langchain调用ollama视觉多模态语言模型
玩转大语言模型——使用transformers中的pipeline调用huggingface中模型
玩转大语言模型——transformers微调huggingface格式的中文Bert模型
玩转大语言模型——使用GraphRAG+Ollama构建知识图谱
玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的问题
玩转大语言模型——配置图数据库Neo4j(含apoc插件)并导入GraphRAG生成的知识图谱
玩转大语言模型——本地部署带聊天界面deepseek R1的小白教程
玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(Ollama+AnythingLLM)
玩转大语言模型——使用LM Studio在本地部署deepseek R1的零基础)教程
玩转大语言模型——Ubuntu系统环境下使用llama.cpp进行CPU与GPU混合推理deepseek
玩转大语言模型——使用Kiln AI可视化环境进行大语言模型微调数据合成
玩转大语言模型——昇腾NPU驱动固件以及CANN的安装
玩转大语言模型——在欧拉操作系统(国产Linux)使用华为官方MindIE-Server镜像方式部署DeepSeek模型
文章目录
前言
本文将详细介绍在国产Linux系统欧拉中使用华为官方MindIE-Server镜像方式部署DeepSeek模型。一般情况下华为昇腾800I服务器可以推理DeepSeek-R1-70B,4张300I-Duo服务器可以推理DeepSeek-R1-32B。在配置中尽量贴合官方文档,包含用到的一些其他的技术细节,便于零基础入门使用
前期准备
硬盘挂载、网络配置以及Docker的安装
在欧拉操作系统(国产Linux)中相关的配置可以参照文章Linux系统管理(十九)——欧拉系统硬盘挂载、网络配置以及Docker环境安装
安装驱动和固件
安装过程在上一篇中已经介绍过了,这里不再赘述,可以参照下面这篇博客。由于在mindie-server中已经内置了CANN,所以在安装mindie-server时,CANN的安装并非必选项。
玩转大语言模型——昇腾NPU驱动固件以及CANN的安装(教你如何使用官方社区安装)
下载模型权值文件
本文以DeepSeek-R1-32B为例,读者可以根据自己的情况选择模型权值文件下载,在本文中将
订阅专栏 解锁全文
3481

被折叠的 条评论
为什么被折叠?



