CherryStudio 调用 DeepSeek,基石智算解锁本地 AI 应用部署新玩法

人工智能技术正以前所未有的速度融入各个行业,为企业和个人带来了巨大的价值。随着数据安全意识的提升、业务定制化需求的增长以及对实时响应的迫切要求,本地部署 AI 应用逐渐成为众多用户的迫切需求。然而,本地部署 AI 应用并非易事,面临着诸如数据处理与整合复杂、模型调用与配置困难、多场景适配挑战以及数据安全保障等核心难点。

基石智算CorsHub 凭借高度标准化的平台与应用集成,大幅降低 AI 创新技术门槛,支持在众多第三方平台调用模型服务 API,为本地 AI 部署提供更广阔空间。

CherryStudio 是一款支持多模型服务的桌面客户端,其内置众多服务商,支持其他兼容 OpenAI/Anthropic 等 API 格式的服务商接入,帮助用户在多种场景下提升工作效率。其主要功能包括:

● 大模型对话:除了基础的 AI 对话,文档或图像对话,甚至是公式和 HTML 预览也可帮助用户完成。

● AI 绘图:支持多种绘图模型,用户可以尽情发挥想象让 CherryStudio 完成绘画。

● AI 翻译:无论是翻译页还是对话栏,CherryStudio 都能快速翻译用户输入的内容。

● 千余内置助手:CherryStudio 内置了各种分类的千余助手,让用户更加高效地使用大模型。

● 多数据源知识库:无论是本地文件还是网页,都能作为知识源快速构建用户专属的知识库。

● 多种备份方式:包括本地备份和云端备份,多个设备无忧切换,更便捷更安全。

本文将以智算平台上大模型服务中的 DeepSeek-R1 和 bce-embedding-base_v1 为例,向用户介绍如何在本地使用 CherryStudio 客户端,调用相应模型,部署自己的 AI 应用。

图片

· 步骤一:获取 API 密钥和域名 ·

1.  注册并登录基石智算(coreshub.cn)。

2.  在顶部导航栏,选择产品与服务 > 大模型服务 > 大模型服务平台。

3.  进入大模型服务管理页面,在左侧导航栏中选择API 密钥管理,创建并获取 API 密钥。

说明:

● 若平台内无可用的 API 密钥,用户可参考创建 API 密钥文档创建和获取新的 API 密钥。

● 若平台内已有可用的 API 密钥,用户可直接将鼠标悬停在指定密钥上,点击 API 密钥右侧的复制按钮,即可获取完整的 API 密钥。

4.  用户可在左侧导航栏选择在线推理服务,点击目标模型卡片页中的 API 文档,查看预置模型 API 服务接口路径,即为模型的 API 域名。

说明:当前平台上的预置模型的 API 域名为 https://openapi.coreshub.cn/v1,用户可直接 使用无需修改。

图片

· 步骤二:安装和配置 CherryStudio ·

1.  下载并安装 CherryStudio 客户端。

注意:

● 用户根据本地电脑自行选择相应的安装包下载和安装即可,具体操作可参考 :https://docs.cherry-ai.com/pre-basic/installation。

● 本实践中使用 MacOS 系统的 CherryStudio 客户端,其他系统的客户端界面可能存在差异,以用户下载的版本界面为准。

2.  启动 CherryStudio 客户端,点击界面左下角的设置图标,选择模型服务 > 添加。

3.  在弹出添加提供商窗口中,配置各项参数,点击确定

a.  提供商名称:填写 CoresHub 即可。

b.  提供商类型:智算平台的大模型服务,兼容 OpenAI 接口规范,此处选择 OpenAI 即可。

4.  新添加的提供商已显示在列,配置相应的 API 密钥API 路径,并点击管理

a. API 密钥:用户在 API 密钥管理中复制得到的完整 API 密钥,需根据实际情况进行修改。

b. API 路径:CherryStudio 平台填写路径时需忽略 v1 版本,故该处填写 https://openapi.coreshub.cn即可。

5.  在弹出的新窗口中,可查看到当前添加的模型提供商 API 路径下的所有模型,用户可根据实际需要选择相应的模型。点击“+”图标,即可将相应模型添加至 CherryStudio 平台上使用。

说明:

● 选择完成后,关闭模型添加界面即可。

● 若使用 CherryStudio 平台的知识库功能,用户需添加嵌入模型,目前智算平台上的嵌入模型为 bce-embedding-base_v1。

6.  返回设置页面,上一步选择的模型已添加至 CherryStudio 平台。

图片

· 步骤三:使用语言模型服务聊天 ·

1.  在 CherryStudio 平台,点击左侧导航栏中的聊天助手

2.  在对话框的顶部,可切换自由切换已添加至平台上的模型。

图片

· 步骤四:嵌入模型创建知识库 ·

1.  在 CherryStudio 平台,点击左侧导航栏中的知识库,点击添加

2.  在弹出添加知识库窗口中,配置名称嵌入模型,点击确定即可。

a.  名称:用户自定义即可。

b.  嵌入模型:选择已添加成功的模型提供商中可用的嵌入模型即可,智算平台内的已预置的嵌入模型为 bce-embedding-base_v1。

3.  为创建好的知识库,添加文件并向量化。

CherryStudio 支持多种添加数据的方式,包括上传文件、上传文件目录、使用网址、网站以及笔记。

a.  文件:用户可直接点击添加文件,上传本地文件即可,支持 pdf、docx、pptx、xlsx、txt、md 格式。

b.  目录:用户可直接添加整个文件夹目录,相应目录下支持格式的文件均会被自动向量化。

c.  网址:即网络连接 URL,如 https://docs.coreshub.cn/。

d.  网站:即站点地图,如 https://docs.coreshub.cn/sitemap.xml。

e.  笔记:即纯文本的自定义内容。

4.  知识库文件添加成功后,等待系统自动完成向量化,即当显示“√”图标,代表向量化已完成。本实践以添加网站,创建本地知识库为例。

5.  当文件等资料向量化完成后,点击页面下方的搜索知识库,输入查询的内容,即可呈现搜索的结果,并显示该条结果的匹配分数。

图片

· 步骤五:对话中引用知识库生成回复 ·

1.  在 CherryStudio 平台,创建新的对话窗口。

2.  点击对话框底部的知识库,将展开已经创建的知识库列表,选择需要引用的知识库即可。

3.  用户输入并发送问题,模型将输出通过检索生成的答案,其引用的数据来源会附在答案下方。

### 本地部署 Ollama 和 CherryStudioDeepSeek 模型调用 API #### 部署概述 为了在本地环境中成功部署 Ollama 并集成 DeepSeek 模型,同时利用 CherryStudio 实现用户交互界面并通过其 API 接口完成模型调用,需遵循一系列配置流程。以下是详细的说明。 --- #### 基础环境准备 首先,在服务器上构建适合运行大型语言模型的基础环境。这一步骤涉及安装必要的依赖项和工具链,确保硬件资源满足需求[^1]。具体操作如下: - **操作系统支持**: Linux 或 macOS 是推荐的选择。 - **GPU 支持 (可选)**: 如果计划加速推理过程,则需要 NVIDIA GPU 及 CUDA 工具包的支持。 - **内存与存储空间**: 至少分配 8GB RAM 来加载较小版本的 DeepSeek 模型(如 `deepseek-r1:7b`),而更大规模变体可能要求更多资源。 --- #### 安装 Ollama Ollama 提供了一个简洁易用的框架来管理多种预训练模型,包括来自 DeepSeek 的系列成员。按照官方文档指示执行以下命令可以快速启动服务[^3]: ```bash brew install ollama # 对于 Mac 用户而言适用此方法获取最二进制文件; curl https://ollama.ai/install.sh | sh # 替代方案适用于其他平台类型。 ``` 随后验证安装成果: ```bash ollama version # 查看已安裝之 Ollama 版本号。 ``` 接着下载目标模型实例之一——这里选取的是较轻量级选项 `deepseek-r1:7b` : ```bash ollama pull deepseek/r1:7b ``` 确认模型可用状态可通过浏览器访问默认监听端口上的网页界面 (`http://localhost:11434`) ,或者借助 RESTful 请求查询现有模型列表信息: ```json GET http://localhost:11434/v1/models ``` 上述返回 JSON 数据结构应包含刚拉取成功的条目名称及其元属性描述等内容。 --- #### 设置 CherryStudio 作为图形化前端解决方案的一部分,CherryStudio 能够显著简化最终使用者同后端 LLMs 进行沟通的过程。依照指引步骤完成软件本身的获取之后,还需调整若干参数使之适配先前建立起来的服务架构: 1. 下载并安装 CherryStudio 应用程序至个人计算设备之上。 2. 登录进入应用内部设定区域找到关于自定义远程连接的部分。 3. 将原本指向云端服务商的标准 URL 地址替换为我们刚才搭建完毕后的私有网络位置字符串形式表达(`http://<your_server_ip>:11434`)。 4. 添加期望使用的特定型号标签名到指定字段里去匹配实际存在的实体对象。 完成后即可尝试发起简单的测试会话以检验整个链条是否正常运作无误。 --- #### 利用 API 进行高级控制 除了直观的操作方式之外,开发者还可以充分利用暴露出来的 HTTP endpoints 编写脚本来自动化某些任务逻辑或是嵌入第三方应用程序当中形成更加丰富的用户体验效果。下面给出一段 Python 示例代码片段展示如何发送 POST 请求给定输入文本从而获得相应输出结果: ```python import requests url = 'http://localhost:11434/v1/completions' payload = { "model": "deepseek-r1", "prompt": "Explain quantum computing.", } response = requests.post(url, json=payload) if response.status_code == 200: print(response.json()['choices'][0]['text']) else: print(f'Error {response.status_code}: {response.text}') ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值