人工智能技术正以前所未有的速度融入各个行业,为企业和个人带来了巨大的价值。随着数据安全意识的提升、业务定制化需求的增长以及对实时响应的迫切要求,本地部署 AI 应用逐渐成为众多用户的迫切需求。然而,本地部署 AI 应用并非易事,面临着诸如数据处理与整合复杂、模型调用与配置困难、多场景适配挑战以及数据安全保障等核心难点。
基石智算CorsHub 凭借高度标准化的平台与应用集成,大幅降低 AI 创新技术门槛,支持在众多第三方平台调用模型服务 API,为本地 AI 部署提供更广阔空间。
CherryStudio 是一款支持多模型服务的桌面客户端,其内置众多服务商,支持其他兼容 OpenAI/Anthropic 等 API 格式的服务商接入,帮助用户在多种场景下提升工作效率。其主要功能包括:
● 大模型对话:除了基础的 AI 对话,文档或图像对话,甚至是公式和 HTML 预览也可帮助用户完成。
● AI 绘图:支持多种绘图模型,用户可以尽情发挥想象让 CherryStudio 完成绘画。
● AI 翻译:无论是翻译页还是对话栏,CherryStudio 都能快速翻译用户输入的内容。
● 千余内置助手:CherryStudio 内置了各种分类的千余助手,让用户更加高效地使用大模型。
● 多数据源知识库:无论是本地文件还是网页,都能作为知识源快速构建用户专属的知识库。
● 多种备份方式:包括本地备份和云端备份,多个设备无忧切换,更便捷更安全。
本文将以智算平台上大模型服务中的 DeepSeek-R1 和 bce-embedding-base_v1 为例,向用户介绍如何在本地使用 CherryStudio 客户端,调用相应模型,部署自己的 AI 应用。
· 步骤一:获取 API 密钥和域名 ·
1. 注册并登录基石智算(coreshub.cn)。
2. 在顶部导航栏,选择产品与服务 > 大模型服务 > 大模型服务平台。
3. 进入大模型服务管理页面,在左侧导航栏中选择API 密钥管理,创建并获取 API 密钥。
说明:
● 若平台内无可用的 API 密钥,用户可参考创建 API 密钥文档创建和获取新的 API 密钥。
● 若平台内已有可用的 API 密钥,用户可直接将鼠标悬停在指定密钥上,点击 API 密钥右侧的复制按钮,即可获取完整的 API 密钥。
4. 用户可在左侧导航栏选择在线推理服务,点击目标模型卡片页中的 API 文档,查看预置模型 API 服务接口路径,即为模型的 API 域名。
说明:当前平台上的预置模型的 API 域名为 https://openapi.coreshub.cn/v1,用户可直接 使用无需修改。
· 步骤二:安装和配置 CherryStudio ·
1. 下载并安装 CherryStudio 客户端。
注意:
● 用户根据本地电脑自行选择相应的安装包下载和安装即可,具体操作可参考 :https://docs.cherry-ai.com/pre-basic/installation。
● 本实践中使用 MacOS 系统的 CherryStudio 客户端,其他系统的客户端界面可能存在差异,以用户下载的版本界面为准。
2. 启动 CherryStudio 客户端,点击界面左下角的设置图标,选择模型服务 > 添加。
3. 在弹出添加提供商窗口中,配置各项参数,点击确定。
a. 提供商名称:填写 CoresHub 即可。
b. 提供商类型:智算平台的大模型服务,兼容 OpenAI 接口规范,此处选择 OpenAI 即可。
4. 新添加的提供商已显示在列,配置相应的 API 密钥和API 路径,并点击管理。
a. API 密钥:用户在 API 密钥管理中复制得到的完整 API 密钥,需根据实际情况进行修改。
b. API 路径:CherryStudio 平台填写路径时需忽略 v1 版本,故该处填写 https://openapi.coreshub.cn即可。
5. 在弹出的新窗口中,可查看到当前添加的模型提供商 API 路径下的所有模型,用户可根据实际需要选择相应的模型。点击“+”图标,即可将相应模型添加至 CherryStudio 平台上使用。
说明:
● 选择完成后,关闭模型添加界面即可。
● 若使用 CherryStudio 平台的知识库功能,用户需添加嵌入模型,目前智算平台上的嵌入模型为 bce-embedding-base_v1。
6. 返回设置页面,上一步选择的模型已添加至 CherryStudio 平台。
· 步骤三:使用语言模型服务聊天 ·
1. 在 CherryStudio 平台,点击左侧导航栏中的聊天助手。
2. 在对话框的顶部,可切换自由切换已添加至平台上的模型。
· 步骤四:嵌入模型创建知识库 ·
1. 在 CherryStudio 平台,点击左侧导航栏中的知识库,点击添加。
2. 在弹出添加知识库窗口中,配置名称和嵌入模型,点击确定即可。
a. 名称:用户自定义即可。
b. 嵌入模型:选择已添加成功的模型提供商中可用的嵌入模型即可,智算平台内的已预置的嵌入模型为 bce-embedding-base_v1。
3. 为创建好的知识库,添加文件并向量化。
CherryStudio 支持多种添加数据的方式,包括上传文件、上传文件目录、使用网址、网站以及笔记。
a. 文件:用户可直接点击添加文件,上传本地文件即可,支持 pdf、docx、pptx、xlsx、txt、md 格式。
b. 目录:用户可直接添加整个文件夹目录,相应目录下支持格式的文件均会被自动向量化。
c. 网址:即网络连接 URL,如 https://docs.coreshub.cn/。
d. 网站:即站点地图,如 https://docs.coreshub.cn/sitemap.xml。
e. 笔记:即纯文本的自定义内容。
4. 知识库文件添加成功后,等待系统自动完成向量化,即当显示“√”图标,代表向量化已完成。本实践以添加网站,创建本地知识库为例。
5. 当文件等资料向量化完成后,点击页面下方的搜索知识库,输入查询的内容,即可呈现搜索的结果,并显示该条结果的匹配分数。
· 步骤五:对话中引用知识库生成回复 ·
1. 在 CherryStudio 平台,创建新的对话窗口。
2. 点击对话框底部的知识库,将展开已经创建的知识库列表,选择需要引用的知识库即可。
3. 用户输入并发送问题,模型将输出通过检索生成的答案,其引用的数据来源会附在答案下方。