本地电脑大模型系列之 13 Cherry AI：ollama 的桌面应用程序

最新推荐文章于 2025-06-29 19:52:03 发布
最新推荐文章于 2025-06-29 19:52:03 发布
阅读量2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： NVIDIA GPU和大语言模型开发教程 文章标签： 人工智能 ollama llm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iCloudEnd/article/details/140553770

介绍

🍒 Cherry Studio 是一款支持多种人工智能大型语言模型的桌面客户端，支持快速模型切换，并针对问题提供不同的模型响应。它兼容 Windows 和 Mac 平台💻，开源且免费，可帮助您提高工作和学习效率。

在这里插入图片描述

系列文章

了解本专栏 订阅专栏 解锁全文
本地电脑大模型系列之 18 利用 Ollama、Chroma DB、LangChain 和 Mistral 等强大工具直接在您的机器上开发复杂的 AI 应用程序，无需 API 密钥构建本地 RAG 应
iCloudEnd的博客
08-02 400
定义 PromptTemplate 来指示语言模型如何处理用户查询。此模板确保模型生成给定问题的三个不同版本，从而增强文档检索的稳健性。通过创建查询的多个版本，系统可以捕获更广泛的相关文档，从而提高检索信息的准确性和相关性。此步骤增强了查询处理的灵活性和有效性。为 RAG（检索和生成）模型定义了 ChatPromptTemplate。此模板指示模型仅根据检索到的文档提供的上下文来回答用户的问题。这可确保生成的答案以文档的实际内容为基础，从而提高响应的准确性和可靠性。
本地电脑大模型系列之 14 使用 Astro、Ollama 和 Vercel 的 AI 库，实现极其简单的本地首个 AI 聊天机器人
iCloudEnd的博客
07-19 643
Vercel 制作了一个很棒的 AI 接口库，可以非常轻松地创建与任何 LLM 连接的流式 AI 接口。但我们听说的大多数时候，它都使用 NextJS 和 OpenAI。好吧，管他呢。让我们尝试一下 Astro（一个推广Islands Architecture的轻量级 Web 框架）和Ollama，它们允许您免费在本地运行 AI 模型。听起来不错？让我们试一试吧！
Ollama+CherryStudio本地部署拯救deepseek官方不可用
轻口味的专栏
02-08 8589
这里检查失败了，因为本地安装模型是1.5b，这里输入模型的时候有写全：deepseek-r1:1.5b，这时候点击确定后显示连接成功。好在deepseek将模型开源，并且有已经量化到可以在我们本地电脑部署，本文我们介绍从PC端到手机端一站式部署deepseek。首先需要安装ollama，从官网https://ollama.com/下载对应系统的安装包安装即可。接下来下载cherry studio，官网下载地址：https://cherry-ai.com/。接下来可以在手机使用本地离线模型聊天了。
Ollama Desktop
蒋固金（jianggujin）的专栏
08-20 2213
Ollama Desktop是基于Ollama引擎的一个桌面应用解决方案，用于在macOS、Windows和Linux操作系统上运行和管理Ollama模型的GUI工具。
Cherry Studio工具介绍及调用MCP服务案例
super_mochi1
06-29 1769
CherryStudio是一款支持Windows、macOS和Linux的多平台AI助手客户端，提供AI对话、绘图、翻译等核心功能，内置上千个专业助手模板。特色包括本地数据存储保障隐私、多服务商集成以及知识库构建能力。用户可通过官方下载部署，配置大模型API后即可使用，还支持MCP服务实现数据可视化分析。该软件注重安全性和效率，适合各类AI应用场景。
学习Cherry Studio AI服务平台，主要是各种功能的实践（deepseek 1.5b和7b的模型+ChatGLM3模型）
skywalk8163的专栏
02-08 4780
Cherry Studio 是一个支持多模型服务的桌面客户端，为专业用户而打造，内置 30 多个行业的智能助手，帮助用户在多种场景下提升工作效率。CherryStudio内置众多服务商同时也支持其他兼容OpenAI/Anthropic等API格式的服务商接入。Cherry Studio支持多种场景应用，不过还是有一些限制，比如画图只能调用硅基流动的服务。特色功能：多模型对话，可以选中多个模型，对同一个问题就行回答。
【AI】CherryStudio + Ollama
德仔
02-24 1039
下载地址：https://cherry-ai.com/download。在聊天时记住一定要选择你的知识库，选择了知识库的会是彩色的按钮。3.3.1添加知识库之前，请先去把模型设置为嵌入模型。3.3.3选择本地文件或者目录，添加网络文章地址。3.3.2☆☆配置本地部署的DeepSeek。即可实现本地DeepSeek模型对话。选择好安装目录 一直下一步安装就好。点击“Ollama”，点击“管理”点击本地添加的模型后面“+”回到聊天页面进行聊天。3.3.3本地知识库。3.3.2创建知识库。3.3.4使用知识库。
大模型 [Ollama/DeepSeek/Cherry Studio]三步骤搭建本地化训练模型
sunyong8860的博客
02-12 4542
DeepSeek大模型本地化部署方案：Ollama DeepSeek Cherry Studio。图形化操作来训练本地化模型。
Ollama+CherryStudio+deepseek大模型部署
weixin_41212298的博客
05-16 859
大模型本地部署的主要优势在于避免隐私泄露和不受联网限制，特别适合处理敏感数据。Ollama是一个支持Windows、Mac和Linux的多功能工具，用于创建、运行、管理和分享模型。用户可以根据硬件配置选择合适的模型，例如无独立显卡建议使用1.5B模型，而8G独立显卡则适合7B或8B模型。Ollama提供了一系列命令行工具，如创建模型、运行模型、删除模型等，用户可以通过简单的命令操作来管理本地部署的模型。此外，CherryStudio作为支持多服务的AI对话客户端，可以与Ollama结合使用，进一步简化模型管
本地电脑大模型系列之 15 如何使用 Meta Llama 3 通过 Ollama 和 Wren AI 查询 MySQL 数据库
iCloudEnd的博客
07-23 657
Ollama 是一个开源项目，可帮助您快速轻松地服务和设置本地 LLM。您只需几个命令即可运行 Llama 3、Phi 3、Mistral、Gemma 2 和其他模型。如果您想了解有关 Ollama 的更多信息，请访问其官方网站。Wren AI是一种开源的文本转 SQL 解决方案，可供数据团队通过提出业务问题而无需编写 SQL 来更快地获得结果和见解。
本地电脑大模型系列之 19 使用 CrewAI 和 Ollama 构建 SQL 代理：综合指南
iCloudEnd的博客
08-10 371
CrewAI 是一个功能强大的框架，用于定义和管理以协调方式执行特定任务的代理。它提供了创建涉及多个代理的复杂工作流所需的工具。另一方面，Ollama 是一种复杂的自然语言处理 (NLP) 工具，可以理解和生成类似人类的文本，使其成为构建和检查 SQL 查询的理想选择。通过结合这两种技术，我们可以创建一个先进的 SQL 代理，能够处理复杂的数据库操作并生成有见地的报告。代理在我们的流程中代表不同的角色。我们将定义三个代理：SQL 开发人员、数据分析师和报告撰写者。
使用CherryStudio、Ollama、腾讯云搭建本地个人知识库、智能体
chunmiao3032的专栏
02-13 2704
需要部署大模型和嵌入模型（太要求电脑配置了，配置差的最好不要尝试，我i5,16G内存，固态硬盘，集成显卡，deepseek根本跑不起来，llama3勉强能跑起来，但是超级慢，嵌入模型nomic-embed-text:latest跑起来后，向量化个几k的文本文件用了几分钟）安装ollama启动ollama启动后，Ollama会在默认端口11434上运行。你可以通过浏览器访问拉取llama3模型运行模型查看模型再拉取嵌入模型然后运行查看拉取的模型。
本地化部署：Ollama+Deepseek+CherryStudio
FallenQu的博客
02-19 3723
介绍Ollama+Deepseek+CherryStudio的私有化部署，同时解决部署过程中遇到的关于访问调用问题等
macOS上运行 Ollama & AnythingLLM，打造自己的桌面智能体/知识库。
huachangzai的博客
05-09 2070
如果你不想通过命令行来使用Ollama，可以搭配一些界面来用。比如AnythingLLM。但是我发现，如果只是体验一下，没有必要使用doker这么麻烦的方式使用。比如我是macOs系统，apple芯片，就选了第一个安装。已经开发了多种系统的桌面端，直接下载使用即可。其他使用步骤与docker没区别，直接参考。下载安装Ollama可以参考前序文章。
Deepseek R1 模型本地部署(ollama+cherry studio)详细指南！ 个人知识库搭建与使用
代码时光
02-14 6451
对于想要在本地或自托管环境中运行 LLM 的用户而言，Ollama 提供了一个无需 GPU、在 CPU 环境也可高效完成推理的轻量化 “本地推理” 方案，接下来跟着笔者学习怎么一步步搭建自己的本地知识库吧
【大模型应用开发-实战】（一）使用Ollama在⾃⼰的电脑上运⾏⼤模型（上）
04-18 807
易于使⽤：Ollama 提供了类似 OpenAI 的 API 接⼝和聊天界⾯，使得⽤户可以轻松地与模型进⾏交。类似 OpenAI 的 API 接⼝和聊天界⾯，可以⾮常⽅便地在本地部署各种开源的⼤模型并通过接⼝使⽤。降低成本：开发阶段，可以在本地环境中使⽤ Ollama ，减少调⽤⼤模型平台接⼝ token 的消耗。热加载模型⽂件：Ollama⽀持热加载模型⽂件，这意味着⽤户可以在不重启服务的情况下更换或更 新模型。定制化与可扩展性：⽤户可以根据⾃⼰的任务和需求，定制和创建⾃⼰的语⾔模型。
【Ollama+Cherry Studio】大模型本地化模型训练
sunyong8860的博客
02-26 1308
本地化模型训练，训练资料包括文件上传，文件夹选择。加入知识库，加入智能体。
告别网络繁忙！手把手教你用Ollama和Cherry Studio本地运行DeepSeek，解锁流畅AI对话
u012151345的博客
03-01 1122
【代码】告别网络繁忙！手把手教你用Ollama和Cherry Studio本地运行DeepSeek，解锁流畅AI对话。
AI工具推荐——Cherry Studio
热门推荐
dotNET跨平台
12-02 1万+
Cherry Studio介绍Cherry Studio是一款支持多模型服务的 Windows/macOS GPT 客户端。它的主要特点如下：多样化的大型语言模型提供商支持☁️ 主要的大型语言模型云服务：OpenAI、Gemini、Anthropic等 ???? AI网络服务集成：Claude、Peplexity、Poe等 ???? 本地模型支持，通过OllamaAI助手与对话???? 300+ 预配置的AI助手 ...
cherry studio 调用ollama模型 回复慢
最新发布
07-30
<think>我们面对的问题是：在Cherry Studio中调用Ollama模型时响应慢，需要优化。 根据引用[3]中的信息，用户通过API调用本地部署的DeepSeek模型时，响应时间长达3~5分钟，而通过命令行直接调用则很快（几秒钟）。这提示我们，问题可能出在API调用环节。 引用[4]提供了Ollama REST API的详细使用示例，我们可以参考其调用方式，并分析可能的原因。 可能的原因及优化方向： 1. **网络延迟或配置问题**：本地调用通常不应有网络延迟，但需要检查是否配置了正确的地址（localhost）和端口（通常为11434）。 2. **API调用参数设置**：在API请求中，可能设置了不必要的参数导致模型生成时间过长（如设置过大的max_tokens，或者temperature过低导致生成缓慢）。 3. **并发问题**：Ollama默认可能只支持单线程处理请求，如果同时有多个请求，会导致排队。 4. **模型加载时间**：每次调用API时，如果模型没有常驻内存，可能需要重新加载模型，导致延迟。 5. **硬件资源不足**：模型运行需要足够的内存和计算资源，如果资源不足，会导致响应缓慢。 优化建议： 1. **检查模型是否已加载**：确保在调用API之前，模型已经加载到内存中。可以通过命令行先运行一次模型（如`ollama run deepseek-r1:1.5b`）并保持运行，然后再进行API调用。 2. **调整API调用参数**：在API请求中，适当调整参数，例如： - 减少`max_tokens`（最大生成token数）以缩短生成时间。 - 设置`stream: false`以避免流式传输带来的额外开销（但注意，流式传输通常不会导致几分钟的延迟，所以这个可能不是主要原因）。 3. **使用Ollama的keep-alive参数**：在启动Ollama服务时，可以设置`OLLAMA_KEEP_ALIVE`环境变量，让模型在生成响应后继续在内存中保持一段时间，避免频繁加载模型。 - 例如：在启动Ollama之前，设置`export OLLAMA_KEEP_ALIVE=5m`（表示5分钟），这样模型在最后一次调用后会在内存中保持5分钟，下次调用时就不需要重新加载。 4. **升级硬件或优化模型**：如果硬件资源不足，考虑升级内存或使用更小的模型（如7B以下模型在普通电脑上运行会更快）。 5. **检查Cherry Studio的调用方式**：确保Cherry Studio中调用Ollama API的代码正确，没有额外的延迟操作（如多次重试、等待时间过长等）。 具体操作步骤示例（针对Ollama的keep-alive设置）： - 在启动Ollama服务之前，设置环境变量（Linux/macOS）： ```bash export OLLAMA_KEEP_ALIVE=5m ollama serve ``` - 在Windows中，可以在命令行中设置环境变量然后启动服务： ```cmd set OLLAMA_KEEP_ALIVE=5m ollama serve ``` 或者通过修改系统环境变量，然后重启Ollama服务。 6. **使用Ollama的API优化参数**：在API调用时，可以尝试设置`num_ctx`（上下文窗口大小）为较小的值（如512），以减少计算量。 7. **检查是否有其他进程占用资源**：确保在调用API时，没有其他程序大量占用CPU或内存。 8. **更新Ollama到最新版本**：新版本可能已经优化了性能。 9. **考虑使用更高效的模型格式**：比如使用GGUF格式的量化模型，减少资源占用。 10. **在Cherry Studio中设置超时时间**：适当调整超时时间，避免因为等待过长而影响用户体验。 如果以上方法仍然不能解决问题，建议查看Ollama的日志（通常会在控制台输出）以获取更详细的错误信息。 由于用户使用的是Cherry Studio，我们还可以利用其多模型管理功能，尝试切换不同的模型或调整配置。 根据引用[1]，Cherry Studio支持多模型、多助手，因此也可以尝试在Cherry Studio中配置不同的模型调用参数，或者使用其他模型进行测试，以确定问题是否特定于某个模型。 最后，如果问题仍然存在，可以考虑在Ollama的GitHub仓库中提交issue，或者寻求社区帮助。 希望这些优化建议能帮助您解决问题！ 相关问题： 1. 如何查看Ollama的日志以诊断问题？ 2. 在Cherry Studio中如何配置多个Ollama模型？ 3. 除了Ollama，还有哪些方法可以本地部署大模型？ 4. 如何量化模型以减少资源占用？ 5. 如何设置Ollama服务开机自启并保持模型常驻内存？</think>### Cherry Studio 调用 Ollama 模型响应慢的优化方案 #### 问题分析（基于引用[3]） 1. **现象矛盾**：命令行调用模型响应快（秒级），API 调用响应慢（3~5 分钟）。 2. **核心瓶颈**：API 调用路径存在性能损耗（非模型计算本身）。 3. **可能原因**： - 网络层延迟（本地回环接口配置问题） - API 参数配置不当 - 模型未常驻内存 - 并发处理机制缺陷 #### 优化方案 ##### 1. 保持模型常驻内存（关键优化） ```bash # 启动时添加 --keep-alive 参数（单位：分钟） ollama serve --keep-alive 30 ``` - **原理**：避免每次 API 调用重新加载模型（引用[3]中终端快速响应的关键） - **效果**：响应时间从分钟级降至秒级 ##### 2. 优化 API 调用参数 在 Cherry Studio 的模型配置中调整： ```json { "model": "deepseek-r1:1.5b", "options": { "num_ctx": 2048, // 降低上下文长度 "temperature": 0.7, // 避免过低值导致采样缓慢 "num_predict": 300 // 限制最大生成token数 } } ``` - **注意**：具体参数名需参考 [Ollama REST API 文档（引用[4]）] ##### 3. 网络层优化 ```bash # 强制指定 IPv4 回环地址（解决 IPv6 兼容问题） ollama serve --host 127.0.0.1 ``` - 在 Cherry Studio 连接设置中使用 `http://127.0.0.1:11434` ##### 4. 硬件资源分配 ```bash # 限制 GPU 层数（平衡显存与速度） export OLLAMA_NUM_GPU_LAYERS=20 # 根据显卡调整 ollama serve ``` ##### 5. 模型量化（终极优化） ```bash # 使用 4-bit 量化版本（减小 60% 内存占用） ollama pull deepseek-r1:1.5b-q4_0 ``` - 量化后 API 调用示例： ```python import requests response = requests.post( "http://localhost:11434/api/generate", json={"model": "deepseek-r1:1.5b-q4_0", "prompt": "你好"} ) ``` #### 验证步骤 1. 终端执行：`ollama ps` 确认模型状态为 **running** 2. 测试 API： ```bash curl http://127.0.0.1:11434/api/generate -d '{ "model": "deepseek-r1:1.5b-q4_0", "prompt": "1+1=", "stream": false }' ``` 3. 在 Cherry Studio 中： - 知识库 → 模型设置 → 更新 endpoint 为 `http://127.0.0.1:11434` - 工具 → 系统监控 → 查看 GPU 利用率（应稳定在 70% 以上） > **注意**：若部署在 Windows 系统，建议关闭防火墙或添加 11434 端口白名单（引用[3]中服务器/PC 差异可能源于此）。 #### 预期效果 | 优化项 | 响应延迟 | 资源占用 | |----------------|----------|---------| | 原始状态 | 3~5 分钟 | 100% | | 模型常驻 | 5~15 秒 | 90% | | 量化+参数优化 | 1~3 秒 | 40% |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

知识大胖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值