本地cherry 部署deepseek流程记录

最新推荐文章于 2025-04-29 15:52:18 发布
最新推荐文章于 2025-04-29 15:52:18 发布
阅读量162 收藏
点赞数 3
文章标签： 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41621686/article/details/145612014
版权

教程链接

https://mp.weixin.qq.com/s/IKoBga2iKfpkdD4Qgy8iLg

步骤

下载ollama

cmd运行命令行

ollama run deepseek-r1:1.5b
ollama pull bge-m3

下载cherry

cherry-ai.com客户端
配置cherry
在这里插入图片描述
添加命令行下载好的模型1.5b
在这里插入图片描述
检查一下 等待检查成功
在这里插入图片描述
进入会话框 选中模型 进行会话 可分为线上和本地知识库倒数第四个标点亮就是本地知识库会话 本地知识库会话前先建立知识库 上传知识库资料文档
在这里插入图片描述

BroomFlying
关注
如何在无法联网的电脑上本地部署 DeepSeek 大模型
qq_41854911的博客
02-13 4585
DeepSeek 是一家位于中国的人工智能公司，专注于研发新一代通用人工智能技术。其最引人注目的成就之一便是 DeepSeek 大模型 系列，这是一系列开源的大语言模型，以其卓越的性能和开放性，在业界引起了广泛关注。DeepSeek 开源介绍DeepSeek 秉持着开源开放的精神，将其研发的大模型对外开源，旨在推动人工智能技术的普及和发展。
基于银河麒麟桌面&服务器操作系统的DeepSeek本地化部署方法.pdf
02-19
银河麒麟桌面与服务器操作系统是基于...此外，麒麟软件有限公司生态与技术服务中心-生态发展部的编写人员冯培培于2025年2月撰写了本文档初稿，记录了DeepSeek的部署方法，并对可能遇到的问题及解决办法进行了介绍。
本地部署deepseek
2503_91881167的博客
04-29 314
deep seek本地部署
电脑中本地部署阉割版DeepSeek或其他大模型的方法
疯狂学习GIS的博客
03-09 1688
本文介绍在Windows电脑中，本地部署DeepSeek等大模型的方法~
ollama + DeepSeek Windows本地部署在非C盘
qq_45764833的博客
02-20 2298
ollama+DeepSeek部署到本机Windows，且部署到其他盘
无需代码DeepSeek R1满血版本地部署+各应用(完整工具包）+保姆级教程
热门推荐
python1234_的博客
03-24 1万+
deepseek厉害的地方还在于能开源，自己的电脑可以部署使用，不需要联网了，老旧电脑都能跑，直接放教程了。
DeepSeek本地部署 + 更改安装目录 + 解决模型下载慢问题 【保姆级教程】
Jay17的博客
03-20 1266
DeepSeek本地部署 + 更改安装目录 + 解决模型下载慢问题 【保姆级教程】
实测！DeepSeek本地化部署全攻略：零代码实现AI对话，效果媲美云端
aaaa_aaab的博客
03-21 1698
正需要AI帮忙整理会议纪要，却遇到服务器排队提示；或是赶着生成代码时突然卡顿，眼睁睁看着灵感溜走。其实这类问题完全可以通过本地部署解决——就像把常用的办公软件装进电脑一样，让AI真正成为随时待命的智能助手。经过三天的实际测试，经历了各种踩坑后，给大家推荐几种比较实用的部署方案。本文将手把手拆解成功率98%的极简路线——让你在23分钟内完成从‘安装焦虑’到‘丝滑推理’的阶级跃迁！
手把手教你！如何在你的电脑上本地部署DeepSeek！
DEVELOPERAA的博客
02-25 2340
DeepSeek想必大家多多少少都用过，或者也听说过，它可以在手机或者电脑上通过APP或者网页进行访问，但是有用过DeepSeek的小伙伴应该都会知道，如果你问的问题比较复杂，或者问的比较频繁，经常会出现系统繁忙的提示，而本地部署就可以一定程度缓解这个问题。
[LLM+AIGC] 07.零基础DeepSeek生成可视化科研图形（思维导图、流程图、词云图）
杨秀璋的专栏
02-22 3065
本系列专栏详细介绍大模型和AIGC基础知识。前一篇文章带领大家了解如何利用DeepSeek+Cherry Studio搭建个人知识库，以安全论文为例进行探索。这篇文章将分享如何利用DeepSeek生成可视化科研图形，包括结合XMind生成思维导图，结合Mermaid生成流程图，结合Chart.js生成HTML趋势图，最终生成Python代码实现词云分析。大家可以结合自己需求进行尝试。
DeepSeek 本地快速部署手册.docx
02-11
内容概要：本文档为《DeepSeek 本地快速部署手册》，主要介绍了如何在本地环境中快速部署热门的大规模语言模型 DeepSeek R1。首先，需要安装开源工具 Ollama，它专为简化大型语言模型的本地部署而设计，支持不同类型...
Windows系统Deepseek大模型本地及内网跨设备调用指南
02-28
内容概要：本文档主要介绍在Windows环境下Deepseek大模型的两种调用方法，一是直接利用CMD命令行本地调用已部署的大模型，二是借助第三方开源工具（比如Cherry Studio、Chatbox）通过设定本地API地址实现调用。...
精品软件服务合同样书.doc
06-14
精品软件服务合同样书.doc
某计算机机房防雷工程方案.docx
06-14
某计算机机房防雷工程方案.docx
通信个人工作总结范文.docx
06-14
通信个人工作总结范文.docx
### Intel Edge Peak (EP) 解决方案
06-14
内容概要：本文档主要介绍了Intel Edge Peak (EP) 解决方案，涵盖从零到边缘高峰的软件配置和服务管理。EP解决方案旨在简化客户的入门门槛，提供一系列工具和服务，包括Edge Software Provisioner (ESP)，用于构建和缓存操作系统镜像和软件栈；Device Management System (DMS)，用于远程集群或本地集群管理；以及Autonomous Clustering for the Edge (ACE)，用于自动化边缘集群的创建和管理。文档详细描述了从软件发布、设备制造、运输、安装到最终设备激活的全过程，并强调了在不同应用场景（如公共设施、工业厂房、海上油井和移动医院）下的具体部署步骤和技术细节。此外，文档还探讨了安全设备注册（FDO）、集群管理、密钥轮换和备份等关键操作。 适合人群：具备一定IT基础设施和边缘计算基础知识的技术人员，特别是负责边缘设备部署和管理的系统集成商和运维人员。 使用场景及目标：①帮助系统集成商和客户简化边缘设备的初始配置和后续管理；②确保设备在不同网络环境下的安全启动和注册；③支持大规模边缘设备的自动化集群管理和应用程序编排；④提供详细的密钥管理和集群维护指南，确保系统的长期稳定运行。 其他说明：本文档是详细描述了Edge Peak技术及其应用案例。文档不仅提供了技术实现的指导，还涵盖了策略配置、安全性和扩展性的考虑，帮助用户全面理解和实施Intel的边缘计算解决方案。
工程项目管理重点.doc
06-14
工程项目管理重点.doc
基于Live555的简易的RTSP推流服务
最新发布
06-14
基于Live555的简易的RTSP推流服务
计算机职业英语考试.docx
06-14
计算机职业英语考试.docx
cherry部署deepseek
03-11
<think>好的，我现在需要回答用户关于如何在Cherry服务器上部署DeepSeek深度学习模型的问题。首先，我得仔细分析用户的需求。用户提到了Cherry服务器，可能是指使用Cherry Studio这个可视化工具进行部署，因为引用[3]中提到了Cherry Studio。 接下来，我需要回顾提供的引用内容。引用[3]提到可以使用Cherry Studio进行DeepSeek R1模型的本地部署，并提供了下载链接。引用[2]和[3]都涉及本地部署的方法，尤其是GGUF格式的模型文件和可视化界面。而引用[4]则提到API调用作为网页端不可用时的替代方案，但用户明确询问的是部署到Cherry服务器，所以重点应放在本地部署和Cherry Studio的使用上。 我需要确保步骤清晰，结构合理。首先，用户需要准备模型文件，可能需要从Hugging Face或ModelScope下载GGUF格式的模型，如引用[2]所述。然后安装Cherry Studio，按照引用[3]的指引进行操作。此外，可能还需要配置环境，比如Python和必要的库，确保兼容性。 还需要注意可能遇到的问题，比如服务器繁忙时使用API调用（引用[4]），但这里用户需要的是本地部署，所以可能不需要涉及API部分。但可以作为备选方案提及，如果有需要的话。 另外，要确保回答符合系统级指令，比如使用正确的LaTeX格式，但用户的问题不涉及数学公式，可能这部分应用较少。不过，生成的相关问题可能需要结构化，比如部署步骤、环境准备、常见问题等。 最后，生成的相关问题需要围绕部署的各个方面，比如环境配置、验证方法、与API调用的比较等，帮助用户进一步了解。</think>根据提供的引用信息，以下是关于在Cherry服务器上部署DeepSeek模型的详细步骤： ### 一、部署准备 1. **模型文件获取** 需从Hugging Face或ModelScope平台下载GGUF格式的DeepSeek模型文件[^2]。GGUF是专为本地推理优化的格式，支持CPU/GPU混合运算。 2. **环境要求** - 操作系统：Linux/Windows（推荐Ubuntu 22.04） - 硬件：至少16GB内存，NVIDIA GPU（显存≥8GB） - 软件：Python 3.8+，CUDA 11.7+ ### 二、通过Cherry Studio部署 1. **安装Cherry Studio** 访问[Cherry Studio官网](https://example.com/cherry-studio)下载对应版本，支持Windows/Linux客户端。安装后启动可视化界面[^3]。 2. **加载模型** ```bash # 在Cherry界面操作： 1. 点击"模型管理" → "导入模型" 2. 选择下载的GGUF文件（如deepseek-7b-chat.Q4_K_M.gguf） 3. 设置推理参数（量化等级、上下文长度等） ``` 3. **服务配置** ```python # 示例配置文件cherry_config.yaml server: host: 0.0.0.0 port: 5000 model: path: /models/deepseek-7b-chat.Q4_K_M.gguf n_gpu_layers: 20 # GPU加速层数 ``` 4. **启动服务** ```bash cherry-server start --config cherry_config.yaml ``` 服务启动后可通过`http://localhost:5000/api/v1/generate`进行调用。 ### 三、验证部署 使用CURL测试接口： ```bash curl -X POST "http://localhost:5000/api/v1/generate" \ -H "Content-Type: application/json" \ -d '{"prompt": "解释牛顿定律", "max_tokens": 200}' ``` ### 四、部署方案对比 | 方案 | 延迟 | 硬件成本 | 适用场景 | |-----------|------|------|----------------| | 本地部署+GPU | 低 | 高 | 高频调用/数据敏感场景 | | API调用 | 中 | 低 | 临时需求/无本地资源 | | 混合云 | 可变 | 中 | 弹性伸缩需求 |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值