deepseek大模型本机部署

Stestack

已于 2025-02-15 11:34:36 修改

阅读量6.5k

点赞数 5

文章标签： python

于 2025-01-31 14:14:43 首次发布

本文链接：https://blog.youkuaiyun.com/Stestack/article/details/145405151

版权

2024年1月20日晚，中国DeepSeek发布了最新推理模型DeepSeek-R1，引发广泛关注。这款模型不仅在性能上与OpenAI的GPT-4相媲美，更以开源和创新训练方法，为AI发展带来了新的可能性。
DeepSeek R1 系列模型包括多个版本，适合不同场景和硬件配置：

满血版 DeepSeek-R1：参数高达 671B，需专业服务器支持，适合高性能计算场景4。
蒸馏版 DeepSeek-R1：参数从 1.5B 到 70B 不等，适合普通用户和开发者使用，显存需求较低45。
量化版：通过模型压缩技术，进一步降低显存需求，适合家用电脑和移动设备68。

本文讲解如何在本地部署deepseek r1模型。deepseek官网https://chat.deepseek.com
1.安装ollama
下载对应版本即可
在这里插入图片描述

官网：https://ollama.com

windows直接下载包安装即可
linux运行脚本：curl -fsSL https://ollama.com/install.sh | sh

2.安装deepseek
在终端中执行以下指令

ollama run DeepSeek-R1

在这里插入图片描述

3.界面搭建
在这里插入图片描述

Chatbox（轻量级客户端）
功能特性：开源跨平台工具，支持预设提示词模板、API 调试，适合开发者2。部署步骤：API 类型：选择 Ollama接口地址：http://localhost:11434模型名称：填写 deepseek-r1:[版本号]（如 deepseek-r1:8b）下载 Chatbox 并安装。配置连接参数：

搭建一个聊天界面就需要另外一个开源项目chatbox：https://github.com/Bin-Huang/chatbox，下载对应版本chatbox，安装成功后打开chatbox，点击设置，模型提供方选择Ollama，ollama运行时他会自动识别模型，保存即可。
在这里插入图片描述

Open WebUI（推荐）
功能特性：支持多模型切换、对话历史记录、Markdown 渲染、API 兼容性等，界面类似 ChatGPT，可离线运行357。部署步骤：访问 Docker 官网下载并安装 Docker Desktop（Windows/Linux/macOS 通用）。安装 Docker：运行 Open WebUI 容器.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在这里插入图片描述

LobeChat（企业级扩展）
功能特性：支持插件扩展、多用户权限管理，适合团队协作9。部署步骤：通过 Docker 部署 LobeChat：

docker run -d -p 3210:3210 --name lobe-chat --restart always lobehub/lobe-chat

MaxKBMaxKB
Max Knowledge Base，是一款基于 LLM 大语言模型的开源知识库问答系统，旨在成为企业的最强大脑。它能够帮助企业高效地管理知识，并提供智能问答功能。想象一下，你有一个虚拟助手，可以回答各种关于公司内部知识的问题，无论是政策、流程，还是技术文档，MaxKB 都能快速准确地给出答案:比如公司内网如何访问、如何提交视觉设计需求等等官方网址：https://maxkb.cn/

DifyDify
是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。
官网：https://dify.ai/zh
github：https://github.com/langgenius/dify?tab=readme-ov-file

FastGPT
是一个功能强大的平台，专注于知识库训练和自动化工作流程的编排。它提供了一个简单易用的可视化界面，支持自动数据预处理和基于Flow模块的工作流编排。FastGPT支持创建RAG系统，提供自动化工作流程等功能，使得构建和使用RAG系统变得简单，无需编写复杂代码。
官方：https://fastgpt.in/
github：https://github.com/labring/FastGPT

RagFlowRAGFlow
是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。官网：https://ragflow.io/
Github：https://github.com/infiniflow/ragflow/blob/main

Anything-LLMAnythingLLM
是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有ChatGPT，不再受制于人：您可以本地运行，也可以远程托管，并能够与您提供的任何文档智能聊天。AnythingLLM将您的文档划分为称为workspaces (工作区)的对象。工作区的功能类似于线程，同时增加了文档的容器化，。工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您可以保持每个工作区的上下文清晰。
官方：https://anythingllm.com/
github：https://github.com/Mintplex-Labs/anything-llm

DB-GPT:
用私有化LLM技术定义数据库下一代交互方式DB-GPT是一个开源的AI原生数据应用开发框架(AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。

github：https://github.com/eosphoros-ai/DB-GPT
github:https://github.com/chatchat-space/Langchain-Chatchat

官方网站：www.deepseek.com
开源模型：https://huggingface.co/deepseek-ai
技术报告：https://github.com/deepseek-ai
接口文档：https://api-docs.deepseek.com/zh-cn/
https://mp.weixin.qq.com/s/53iBbo8Upv3m2OHM7C7dew