Deepseek+Ollama 从入门到精通之本地部署deepseek

最新推荐文章于 2025-07-02 09:34:00 发布

赤胜骄阳

最新推荐文章于 2025-07-02 09:34:00 发布

阅读量1.4k

点赞数 30

CC 4.0 BY-SA版权

分类专栏：大模型知识库文章标签： llama3 deepseek 人工智能

本文链接：https://blog.youkuaiyun.com/qiufo/article/details/145572746

大模型知识库专栏收录该内容

26 篇文章

订阅专栏

Deepseek+Ollama 本地部署Deepseek

1 概述
- Deepseek功能
2 安装Ollama
3 部署Deepseek-r1

1 概述

DeepSeek是中国一家专注通用人工智能（AGI）研发的科技公司，基于自主研发的大模型核心技术，提供智能对话助手（如深度求索）、开放平台API接口及企业级解决方案，涵盖智能客服、数据分析、内容生成等场景应用。
在这里插入图片描述

性能对齐OpenAI-o1正式版
DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力在数学、代码、自然语言推理等任务上，性能比肩OpenAI o1正式版。

原文链接：https://blog.youkuaiyun.com/weixin_66401877/article/details/145504773
DeepSeek是由中国的深度求索公司开发的一系列人工智能模型，以其高效的性能和低成本的训练而受到关注。以下是其主要介绍：

技术特点

混合专家架构(MoE)：DeepSeek-V3采用MoE架构，总参数达6710亿，但每个输入只激活370亿参数，通过动态冗余策略，在推理和训练过程中保持最佳的负载平衡，大大降低了计算成本，同时保持高性能。
多头潜在注意力(MLA)：引入多头潜在注意力机制，通过低秩联合压缩机制，将Key-Value矩阵压缩为低维潜在向量，显著减少内存占用。
无辅助损失负载均衡：采用无辅助损失负载均衡策略，最小化因鼓励负载均衡而导致的性能下降。
多Token预测(MTP)：采用多Token预测目标，证明其对模型性能有益，并可用于推理加速。
FP8混合精度训练：设计了FP8混合精度训练框架，首次验证了在极大规模模型上进行FP8训练的可行性和有效性。
知识蒸馏：DeepSeek-R1通过知识蒸馏，将长链推理(CoT)模型的推理能力蒸馏到标准LLM中，显著提升了推理性能。

Deepseek功能

DeepSeek直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景，支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。
在这里插入图片描述

2 安装Ollama

2.1 下载Ollama

登录Ollama官网下载Ollama安装包
GitHub：https://github.com/ollama/ollama?tab=readme-ov-file
在这里插入图片描述
下载后双击安装

在这里插入图片描述

2.2 安装Ollama

Windows下安装Ollama很简单，双击运行安装文件即可，此处不赘述。

打开终端，输入ollama，出现下图所示代表安装成功

在这里插入图片描述

注意：
windows 的安装默认不支持修改程序安装目录，
默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama
默认安装的模型目录：C:\Users\username\ .ollama
默认的配置文件目录：C:\Users\username\AppData\Local\Ollama

2.3 配置Ollama的模型路径

由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中，可以配置环境变量OLLAMA_MODELS，设置为指定的路径：
在这里插入图片描述

2.4 下载llama3模型

llama3目前主要有8B和70B两个模型，分别代表80亿和700亿个训练参数。
在这里插入图片描述

8B模型一般16GB内存就可以跑的很流畅，70B模型则至少需要64GB内存，有CPU就可以跑，当然有GPU更好。
这里我安装的是8B的模型。
打开终端，输入命令：ollama run llama3默认安装8B模型，也可以使用ollama run llama3:8b来指定相应的模型，安装成功会有如下提示：
在这里插入图片描述

提问题，发现该模型给了不太靠谱的回复。
在这里插入图片描述

当然也可以写代码
在这里插入图片描述

至此，llama3本地部署已完成。
注意1：
在没有互联网的环境下部署，可以将下载好的Ollama安装包复制到此环境安装，然后将下载好的模型复制到相应路径就可以在无互联网的环境下使用。
注意2：
由于llama3对中文的支持并不是很好，需要中文的可以使用GitHub上开源的这个llama3中文微调模型https://github.com/LlamaFamily/Llama-Chinese

启动ollama
在这里插入图片描述