手把手教你搭建本地AI知识库：Ollama+Deepseek+Cherry Studio

手把手教你搭建本地AI知识库：Ollama+Deepseek+Cherry Studio

为什么要搭建本地 AI 知识库

在这个信息爆炸的时代，数据就像一座蕴藏着无限价值的宝藏，而 AI 知识库则是开启这座宝藏的关键钥匙。搭建本地 AI 知识库，对我们来说有着诸多不可忽视的重要性。

从数据安全角度来看，本地部署就像是为我们的数据筑起了一座坚固的堡垒。在如今这个网络攻击手段层出不穷的环境里，数据泄露事件频频发生，将数据存储在云端，我们就如同将自己的隐私毫无保留地暴露在他人面前。而搭建本地 AI 知识库，数据完全掌控在自己手中，我们再也不用担心数据被第三方窥探、窃取或滥用，无论是个人的私密信息，还是企业的核心商业机密，都能得到最可靠的保护。

再谈谈个性化定制。通用的大模型虽然功能强大，但就像一个 “万金油”，在处理特定领域的问题时，往往难以做到精准和深入。本地 AI 知识库则不同，它就像是一个专属的私人顾问，我们可以根据自己的独特需求，为其 “投喂” 特定领域的数据，让它成为该领域的专家。比如，对于科研人员来说，将专业的学术论文、研究报告等数据输入到本地 AI 知识库，当他们在研究过程中遇到问题时，就能得到更加精准、专业的解答，大大提高研究效率。对于企业而言，将内部的业务流程、产品资料、客户信息等数据整合到本地 AI 知识库中，员工在工作中遇到问题时，能够快速获取准确的答案，提升工作效率和服务质量。

另外，搭建本地 AI 知识库还可以避免网络限制和数据传输延迟。在使用云端服务时，我们常常会受到网络状况的影响，一旦网络不稳定，查询结果的响应速度就会大打折扣，甚至无法正常使用。而本地 AI 知识库就像是一位随叫随到的伙伴，无需依赖网络，无论何时何地，只要我们有需求，它都能迅速做出响应，为我们提供准确的信息。这对于那些对实时性要求较高的工作场景，如在线客服、金融交易等，显得尤为重要。

前期准备

在开始搭建本地 AI 知识库之前，我们需要做好一系列的前期准备工作，确保硬件和软件环境都能满足要求，为后续的顺利搭建奠定坚实的基础。

硬件要求

不同的模型对硬件的要求存在差异，以 DeepSeek 系列模型为例，其不同版本对硬件的需求如下：

DeepSeek-R1-1.5B：推荐使用 4 核以上的 Intel/AMD 多核处理器，具备 4GB + 显存的显卡（如 GTX 1650），内存 8GB+，存储空间 3GB+。这个版本的模型对硬件要求相对较低，适合配置较为普通的个人电脑使用，能够满足一些简单的文本处理和基础问答任务。

DeepSeek-R1-7B：需要 8 核以上的现代多核 CPU，显卡显存 8GB+（如 RTX 3070/4060），内存 16GB+，存储空间 8GB+。该版本在性能上有所提升，能够处理更复杂的任务，如撰写文章、代码生成等，对硬件的要求也相应提高，适用于配置稍好一些的电脑。

DeepSeek-R1-14B：要求 12 核以上的 CPU，16GB + 显存的显卡（如 RTX 4090），内存 32GB+，存储空间 15GB+。此版本模型的能力进一步增强，对于处理大规模数据和复杂逻辑推理有更好的表现，当然也需要更高性能的硬件支持，一般适用于专业的工作站或服务器。

DeepSeek-R1-32B：需要 16 核以上的高性能 CPU（如 Ryzen 9 /i9），24GB + 显存的显卡（如 A100 40GB），内存 64GB+，存储空间 30GB+。该版本模型对硬件的性能要求较高，主要用于对计算能力要求苛刻的场景，如大型企业的数据分析、科研机构的深度研究等。

DeepSeek-R1-70B：推荐使用 32 核以上的服务器级 CPU，并且需要多卡并行（如 2x A100 80GB），内存 128GB+，存储空间 70GB+。这种超大规模的模型能够处理极其复杂的任务，但对硬件的要求也达到了很高的水平，通常只有具备强大计算资源的专业机构或企业才会使用。

软件要求

Ollama：这是一个专为在本地环境中运行和定制大型语言模型而设计的工具，它提供了一个简单而高效的接口，用于创建、运行和管理这些模型。我们可以从 Ollama 官方网站（https://ollama.com/download）下载对应操作系统的安装包，它支持多种操作系统，包括 macOS、Windows 和 Linux 以及 Docker 环境。下载完成后，按照安装向导的提示进行安装。例如，在 Windows 系统中，下载安装程序后，双击安装包，按照提示逐步完成安装。安装完成后，打开命令提示符或 PowerShell，输入 “ollama --version” 命令，如果显示版本号，则说明安装成功。

Cherry Studio：这是一款强大的多模型 AI 助手，支持 iOS、macOS 和 Windows 平台，能够帮助我们快速切换多个先进的 LLM 模型，提升工作学习效率。我们可以通过以下途径下载：

官网下载：访问 Cherry Studio 官网（https://www.cherry-ai.com/），选择对应操作系统的安装包进行下载。

GitHub 仓库：在 GitHub 上搜索 “Cherry Studio”，找到官方仓库后，从仓库中下载最新版本的安装包。

第三方平台：部分站点如脚本之家、果核剥壳提供历史版本下载，但在下载时需要注意甄别安全性。

以 Windows 系统为例，下载完成后，双击安装包运行，按向导选择安装路径和语言（默认中文）。完成安装后，启动客户端，同意用户协议即可进入主界面。

部署 Ollama 和 Deepseek

安装 Ollama

Ollama 是一个支持在 Windows、Linux 和 MacOS 上本地运行大语言模型的工具，其安装方法会因操作系统的不同而有所差异。

Windows 系统：直接从 Ollama 官网（https://ollama.com/download）下载相对应系统的安装程序，点击 “Download for Windows (Preview)”。下载完成后，一路点击 “install” 进行安装。安装完成之后，打开一个 cmd 命令窗口，输入 “ollama” 命令，如果显示 ollama 相关的信息，就证明安装已经成功 。也可以输入 “ollama --version” 命令，若显示版本号，同样表明安装成功。

macOS 系统：在 Ollama 官网下载页面下载安装包（Ollama-darwin.zip）。下载解压后，将 Ollama.app 移动到 / Applications 目录中。打开终端，执行 “ollama --version” 命令，若显示版本号，则说明安装成功。另外，也可以使用 brew 进行安装，在终端中输入 “brew install ollama”，按照提示完成安装后，同样通过 “ollama --version” 命令验证安装结果。

Linux 系统：在 Linux 系统上，可以通过脚本安装或源码编译的方式来安装 Ollama。

脚本安装：打开终端，执行以下命令下载安装脚本：curl -fsSL ``https://ollama.com/install.sh`` | sh，等待安装完成。安装脚本会自动下载所需的组件，并完成 Ollama 的安装与配置。安装完成后，可以通过 “ollama serve” 命令启动 Ollama 。

二进制安装：首先将 Ollama 的二进制文件下载到 PATH 中的目录，命令如下：

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama

sudo chmod +x /usr/bin/ollama

然后为 Ollama 创建用户并添加为自启动服务：

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

sudo vim /etc/systemd/system/ollama.service

在打开的文件中添加以下内容：

\[Unit]

Description=Ollama Service

After=network-online.target

\[Service]

ExecStart=/usr/bin/ollama serve

User=ollama

Group=ollama

Restart=always

RestartSec=3

\[Install]

WantedBy=default.target

保存并退出后，执行以下命令设置开机自启动并启动 Ollama：

sudo systemctl daemon-reload

sudo systemctl enable ollama

sudo systemctl start ollama

安装完成后，可以通过执行 “ollama --version” 命令来验证是否安装成功。

下载并运行 Deepseek 模型

DeepSeek-R1 有多种不同版本，如 1.5B、7B、8B、14B、32B、70B、671B 等，版本越高，模型越大，对电脑的内存、显卡等资源的配置要求就越高，我们需要根据硬件配置选择合适的版本。以在 Windows 系统中使用 Ollama 下载并运行 Deepseek 模型为例，具体步骤如下：

以管理员身份打开电脑终端。

在终端中输入下载并运行模型的命令，例如下载并运行 7B 版本的命令为：ollama run deepseek-r1:7b。这里的 “deepseek-r1:7b” 指定了要下载和运行的模型版本，“ollama run” 是 Ollama 中用于运行模型的命令，该命令会先检查本地是否存在该模型，如果不存在则会从远程仓库下载模型，然后启动模型服务 。

等待下载和启动过程完成，期间会显示下载进度等信息。当出现 “success” 字样，则说明部署成功，此时就可以在命令行中与 DeepSeek 进行对话交互了。

常见问题及解决

在安装 Ollama 和部署 Deepseek 过程中，可能会遇到一些问题，以下是一些常见问题及解决方法：

硬件不兼容：如果硬件配置低于模型要求，可能导致模型无法运行或运行缓慢。例如，在运行较大版本的 Deepseek 模型时，显卡显存不足，会出现报错或运行卡顿的情况。解决方法是升级硬件，如增加内存、更换更高显存的显卡等；或者选择对硬件要求较低的模型版本。

下载失败：由于网络问题，可能导致 Ollama 或 Deepseek 模型下载失败。比如在下载 Ollama 安装包时，下载过程中断；在使用 Ollama 下载 Deepseek 模型时，长时间处于下载状态或提示下载错误。可以尝试更换网络环境，如从移动数据切换到 Wi-Fi，或者从 Wi-Fi 切换到移动数据；也可以使用代理服务器来改善网络连接；若下载 Ollama 安装包失败，还可以尝试从其他可靠的镜像站点下载。

环境变量配置错误：在 Windows 系统中更改 Ollama 模型存放位置时，如果环境变量配置错误，可能导致模型无法正常下载或运行。比如变量名拼写错误、变量值路径格式不正确等。此时需要仔细检查环境变量的配置，确保变量名 “OLLAMA_MODELS” 正确无误，变量值为正确的路径，且路径格式符合系统要求，例如 “D:\Ollama\Models”。配置完成后，重启相关应用程序使设置生效。

依赖缺失：在 Linux 系统安装 Ollama 时，如果缺少相关依赖，会导致安装失败。例如缺少 curl 等工具，在执行安装脚本时会报错。可以通过包管理器安装缺失的依赖，如在 Ubuntu 系统中，使用命令 “sudo apt-get install curl” 来安装 curl 工具。

使用 Cherry Studio 搭建知识库

安装 Cherry Studio

下载：访问 Cherry Studio 官网（https://www.cherry-ai.com/），在下载页面中，你会看到针对不同操作系统的下载选项，如 Windows 安装版（Setup）、Windows 便携版（Portable）、macOS Intel 版（x64）、macOS Apple Silicon 版（ARM64）、Linux x86_64 版本以及 Linux ARM64 版本 。根据自己的操作系统选择对应的版本进行下载。例如，如果你使用的是 Windows 系统，点击 “Windows 安装版 (Setup)” 链接进行下载。也可以在 GitHub 仓库（https://github.com/CherryHQ/cherry-studio/releases）中找到最新版本的安装包进行下载。

安装：下载完成后，进行安装操作。

Windows 系统：找到下载的安装包，通常是一个.exe 后缀的文件，双击运行。在安装向导界面，点击 “下一步”，选择安装路径，默认路径为 “C:\Program Files\Cherry Studio”，你也可以点击 “浏览” 选择其他路径，然后继续点击 “下一步”，按照提示完成安装。安装完成后，在开始菜单中可以找到 “Cherry Studio” 程序，点击即可启动。

macOS 系统：如果下载的是.dmg 后缀的文件，双击打开，将 Cherry Studio 图标拖动到 “应用程序” 文件夹中即可完成安装。安装完成后，在 “应用程序” 中找到 Cherry Studio 并打开。

Linux 系统：如果下载的是.deb 或.rpm 格式的安装包，在终端中使用相应的命令进行安装。例如，对于.deb 包，使用命令 “sudo dpkg -i 安装包名.deb”；对于.rpm 包，使用命令 “sudo rpm -ivh 安装包名.rpm” 。安装完成后，在应用列表中找到 Cherry Studio 并启动。

配置 Cherry Studio

添加模型服务：打开 Cherry Studio，点击左下角的 “设置” 图标，在弹出的设置窗口中，选择 “模型服务” 选项卡。点击 “添加” 按钮，在弹出的下拉菜单中选择 “Ollama”，此时会弹出 Ollama 配置窗口，输入 Ollama 服务的地址，默认为 “http://localhost:11434”，如果你的 Ollama 服务地址有更改，请填写正确的地址，然后点击 “保存”。

添加 DeepSeek 模型：在 “模型服务” 设置界面中，点击刚刚添加的 Ollama 服务右侧的 “管理” 按钮，在弹出的模型管理窗口中，点击 “添加模型” 按钮，输入模型名称，如 “deepseek-r1:7b”（根据你实际下载的 DeepSeek 模型版本填写），然后点击 “添加”。添加完成后，点击 “检查” 按钮，若显示绿色对勾，则表示模型添加成功，测试连通性通过。

添加嵌入模型：为了使用知识库功能，还需要添加嵌入模型。常用的嵌入模型如 BGE-M3，它是由 BAAI（北京智源人工智能研究院）发布的多语言长文本向量检索模型，支持超过 100 种语言，训练数据覆盖了 170 多种语言。在模型管理窗口中，点击 “嵌入” 选项卡，然后点击 “添加模型” 按钮，输入嵌入模型名称，如 “bge-m3”，可以通过 “ollama pull bge-m3” 命令下载该嵌入模型，下载完成后，点击 “添加” 即可将其添加到系统中。

导入数据构建知识库

添加知识库：在 Cherry Studio 主界面左侧，点击 “知识库” 图标，进入知识库管理页面。点击 “添加本地文档” 按钮，在弹出的窗口中，填写知识库名称，如 “我的工作知识库”，然后选择之前添加的嵌入模型，如 “bge-m3”，点击 “确定” 创建知识库。

导入数据：创建好知识库后，就可以导入数据了。Cherry Studio 支持多种数据导入方式：

本地文件：点击知识库右侧的 “添加文件” 按钮，在弹出的文件选择窗口中，选择你要导入的文件，支持的文件格式有 pdf、docx、pptx、xlsx、txt、md、mdx 等 。选择好文件后，点击 “打开”，系统会自动进行向量化处理，当文件旁边显示绿色对勾时，表示处理完成。

文件夹目录：点击 “添加文件夹” 按钮，选择包含相关文件的文件夹目录，该目录下支持格式的文件会被自动向量化处理。

网址链接：点击 “添加网址” 按钮，输入网址链接，如 “https://docs.siliconflow.cn/introduction”，系统会自动抓取网页内容并进行处理。

站点地图：点击 “添加站点地图” 按钮，选择 xml 格式的站点地图文件，如 “https://docs.siliconflow.cn/sitemap.xml”，系统会根据站点地图中的链接，抓取相关网页内容并进行处理。

纯文本笔记：点击 “添加笔记” 按钮，在弹出的文本输入框中，输入纯文本内容，然后点击 “保存”，即可将文本内容添加到知识库中。

打开搜索引擎功能

注册 Tavily 账号：打开浏览器，访问 Tavily 官网（https://app.tavily.com/home），点击页面上的 “注册” 按钮，按照提示填写注册信息，如邮箱地址、设置密码等，完成注册流程。注册成功后，登录账号。

获取秘钥：登录 Tavily 账号后，在用户界面中找到 “API 密钥” 相关选项，点击进入，即可看到生成的 API 密钥，复制该密钥并妥善保存。

导入 Cherry Studio：回到 Cherry Studio，点击左下角的 “设置” 图标，在设置窗口中找到 “搜索引擎” 选项卡，点击进入。在搜索引擎设置界面中，找到 Tavily 相关设置区域，将复制的 Tavily API 密钥粘贴到对应的输入框中，然后点击 “保存”。保存成功后，即可在 Cherry Studio 中使用 Tavily 搜索引擎功能，在与 AI 交互时，AI 可以借助 Tavily 获取实时信息，为你提供更准确和全面的回答 。

知识库的使用与优化

基本使用方法

问答交互：在 Cherry Studio 的聊天窗口中，确保已选择配置好的 DeepSeek 模型和对应的知识库。例如，你在知识库中添加了大量关于人工智能发展历史的资料，当你输入问题 “人工智能发展历程中有哪些关键突破？”，模型会基于知识库中的内容进行分析和理解，然后生成准确的回答，并在回答中注明参考的资料来源，方便你进一步查阅原始文档。

检索功能：点击知识库界面中的 “检索知识库” 按钮，在弹出的搜索框中输入关键词，如 “机器学习算法”，系统会快速检索出知识库中与该关键词相关的所有文档，并按照相关性进行排序展示。你可以点击具体的文档，查看详细内容，了解关于机器学习算法在知识库中的具体描述和相关信息 。

优化技巧

调整模型参数：在 Cherry Studio 的设置中，可以对模型的一些参数进行调整，以优化知识库的性能。比如，增加 “温度” 参数的值（一般取值范围在 0 - 1 之间），可以使生成的回答更加具有创造性和多样性，但同时也可能增加回答的不确定性；降低 “温度” 值，则会使回答更加保守和确定 。还可以调整 “最大生成长度” 参数，根据问题的复杂程度和期望的回答长度，合理设置该参数，避免生成过长或过短的回答。例如，对于一些简单的事实性问题，可以将最大生成长度设置得较短，以提高回答效率；对于复杂的开放性问题，则可以适当增大该参数值，以便模型能够充分展开回答。

定期更新数据：随着时间的推移，知识不断更新和发展，定期更新知识库中的数据非常重要。例如，每月或每季度对知识库进行一次更新，添加新的行业报告、研究论文、技术文档等资料。同时，对于已经过时或不准确的信息，要及时进行删除或修正。比如，在科技领域，新的研究成果和技术突破不断涌现，及时更新知识库中的相关内容，能够确保在使用时获取到最前沿和准确的信息 。

优化数据预处理：在导入数据时，对数据进行预处理可以提高知识库的质量和性能。对于文本数据，进行去重处理，避免重复数据占用存储空间和影响检索效率；进行文本清洗，去除文本中的噪声，如特殊字符、乱码等，使模型能够更好地理解和处理数据。对于 PDF 文件，如果其中包含图片或复杂的格式，在导入前可以先将其转换为纯文本格式，以便模型更准确地提取信息 。

使用多模型融合：Cherry Studio 支持多种模型服务，尝试使用多模型融合的方式来优化知识库。比如，结合 DeepSeek 模型和其他擅长特定领域的模型，当遇到不同类型的问题时，根据问题的特点自动选择最合适的模型进行回答。对于一般性的知识问答，可以使用 DeepSeek 模型；对于专业性较强的医学问题，可以切换到专门的医学领域模型，这样可以提高回答的准确性和专业性 。

总结与展望

通过以上步骤，我们成功地利用 Ollama 部署了 Deepseek 模型，并借助 Cherry Studio 搭建了属于自己的本地 AI 知识库。在这个过程中，我们不仅实现了数据的本地化存储和管理，还能够根据自身需求对知识库进行个性化定制，享受到了快速、准确且私密的知识服务。

从实际使用效果来看，本地 AI 知识库在处理特定领域的问题时表现出色。无论是专业的学术研究，还是日常的工作资料查询，它都能迅速给出准确的答案，大大提高了我们的工作和学习效率。而且，由于数据存储在本地，我们无需担心数据泄露等安全问题，使用起来更加放心。

展望未来，随着 AI 技术的不断发展，本地 AI 知识库的性能和功能还将不断提升。一方面，模型的性能将持续优化，能够更准确地理解和处理各种复杂的问题；另一方面，更多先进的技术如多模态融合（将文本、图像、音频等多种信息融合处理）也可能会应用到本地 AI 知识库中，为我们带来更加丰富和便捷的知识服务体验。

如果你对数据安全和个性化服务有较高的要求，不妨亲自尝试搭建一个属于自己的本地 AI 知识库。相信在探索和实践的过程中，你会发现更多 AI 技术带来的惊喜和便利，开启全新的知识管理和应用之旅。