实现方案及准备工作
部署本地知识库的工具有很多，RAGFlow、FastGPT、DIFY、AnythingLLM等，他们各有特点，本文以RAGFlow为例。本次是在Windows操作系统中进行的部署。
部署要求
系统：Windows系统
显卡：7B参数模型需要NVIDIA GeForce RTX 3060 Ti或更高端显卡，14B参数模型需要NVIDIA GeForce RTX 4080或更高端显卡。
内存：7B参数模型推荐32GB内存，14B参数模型推荐64GB内存。
CPU：Intel Core i5 12400或同级别以上CPU。
磁盘：剩余磁盘空间大于100GB。
下载ollama并运行本地模型
ollama是一个模型管理工具，可以通过它下载多种不同模型。ollama官网地址：https://ollama.com/。
下载后安装，安装成功后在浏览器打开http://127.0.0.1:11434/。如果页面上显示Ollama is running，表示安装成功。如果下载页面加载失败，可以到github中下载OllamaSetup.exe，下载页面：https://github.com/ollama/ollama/releases。
仅下载ollama还不行，还必须下载需要的模型。
ollama默认将模型下载到C盘，因此我们需要修改模型下载目录。
1.打开系统设置，进入系统属性或系统变量设置。
2.创建一个新的系统变量或修改现有的环境变量，变量名为OLLAMA_MODELS。
3.将变量的值设置为ollama模型文件下载路径，例如d:\ollama。
设置完以后重启Ollama服务即可。
打开ollama官网，在导航栏上找到Models，点击进入。
在这个页面中可以搜索到各类模型，找到我们需要下载的模型。点击进入该模型详情页面。
在模型页面选择需要下载的参数规模，一般个人电脑最多只能支持到14b，然后点击右侧的“复制”按钮，复制下载模型的命令。
打开windows命令提示符工具（WIN +R快捷键，然后输入cmd，回车）。点击右键粘贴命令，回车，ollama会自动下载模型。
安装完成后，可以通过CTRL+D快捷键退出会话。
可以通过ollama list命令查看已安装的模型。
添加本地模型
点击右上角的头像，在设置页面点击“模型供应商”，在列表中找到Ollama，点击其下方的“添加模型”。
模型类型根据情况选择。
chat：语言（会话、聊天）模型。
embedding：嵌入模型，用于将文本向量化。
rerank：重排模型，用于对检索结果进行再次排序，在ragflow中创建助理时，默认使用矢量余弦相似性进行这一处理，除非指定了rerank模型。
image2text：图片转文本模型。
模型名称必须与ollama中的名称一致，如想将deepseek-r1:7b添加为本地模型，就需要将其完整名称复制到文本框中。
基础Url：因为ragflow是基于docker运行，但是ollama是直接安装在宿主机的，因此基础Url填写：http://host.docker.internal:11434
API-Key：留空。
最大token数：根据需要填写，不超过8192。
填写完成后单击右下角“确定”。
如果要继续添加本地模型，可以点击ollama中的“添加模型”按钮，进行添加。
添加互联网模型
本章中只描述半本地化部署的模型添加方法，完全本地化部署的模型添加方法请参考的添加本地模型步骤。
获取API KEY
本文以DeepSeek为例，进入DeepSeek开放平台，https://platform.deepseek.com/。
在API Keys中，创建API key。然后复制并保存。
添加模型
点击右上角头像。
点击“模型提供商”，在列表中找到自己期望的模型供应商，以DeepSeek为例，点击“添加模型”。
在弹出的窗口中填写上一步获取的API KEY，确定。
添加成功后，可以在页面上半部分的已添加模型列表中，看到刚刚添加的DeepSeek了。
添加知识库与对话
修改系统模型
在模型供应商中，点击右上角的“系统模型设置”。
在其中选择各类模型的默认模型，比如聊天模型选deepseek等。
嵌入模型和Rerank模型一般不必修改。
Img2txt、Sequence2txt、TTS这三种模型，可以等需要用到的时候，添加模型后，再来配置。其中img2txt模型用于识别图片，Sequence2txt模型用于识别语音，TTS模型用于生成语音。
添加知识库
点击上方导航栏的“知识库”，进入知识库页面，点击右侧的“创建知识库”按钮。
在弹出窗口中，输入名称后确定，进入知识库配置页面。
设置知识库的各项参数。
文档语言：“中文”。
嵌入模型：默认不变。
解析方法：取决后面需要上传到知识库的文件类型，每一种在页面右侧都有说明和示例，我要上传的是一个存放在EXCEL中的问答对，所以我选择Q&A。
其他信息如果不懂就不调整。
确认后保存。
在数据集中新增文件，选择本地文件。
在弹出的窗口中，上传准备好的知识库文档。
上传成功后，单击文件右侧的解析按钮开始解析文件，解析成功后，解析状态会变为“成功”。
单击“检索测试”，在该页面中进行问答测试。通过调整相似度阈值和关键字相似度权重两个参数，来测试什么样的设置能获得相对精准的回答。
创建对话
点击上方导航栏的“聊天”，再点击“新建助理”。
给助理设置一个姓名，最底部的知识库中选择刚刚创建的知识库。
然后点击窗口上方的“提示引擎”。
在窗口中根据需要修改提示词，因为我需要助手严格按知识库中的内容作答，不要回答其他内容，所以在默认的提示词基础上做了一点修改。
再根据上一步添加知识库时的测试，设置合适的相似度阈值和关键词相似度权重。
提示引擎设置完成后，点击窗口上方的“模型设置”。
选择期望使用的模型，以及模型的回复风格。
注意模型下拉列表中，Ollama下面的是本地模型，上面的DeepSeek是接入供应商的API，需要按用量付费的。实际使用中，我们要么选择半本地化部署，要么选择完全本地化部署，一般是不太会出现二者皆有的情况，这里只是为了方便演示。
最大token数，如果助手给出的回答中预估内容比较长，可以适当增加最大token数。
一切确定后，单击“确定”按钮，创建助手成功。
点击聊天右侧的“+”号，创建新的对话。
然后就可以开始对话了。
分享助手
有时候助手需要分享给别人使用，点击右上角头像，进入API页面，点击API KEY按钮。
在弹出的窗口中点击“创建新密钥”，然后确定。
点击上方导航栏“聊天”，回到聊天页面。
鼠标光标停留在智能助手上方时，会出现一个设置按钮，将光标移动上去，在弹出的列表中选择“嵌入网站”。
将src后面引号内的内容复制出来，将localhost替换为本机IP或域名，就可以分享给别人使用了。
想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！
👇👇扫码免费领取全部内容👇👇
一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势
想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：
1. 100+本大模型方向电子书
2. 26 份行业研究报告：覆盖多领域实践与趋势
报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：
- 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
- 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
- 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
- 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
3. 600+套技术大会 PPT：听行业大咖讲实战
PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：
- 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
- 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
- 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
- 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走
想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！
1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位
面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：
2. 102 道 AI 大模型真题：直击大模型核心考点
针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：
3. 97 道 LLMs 真题：聚焦大型语言模型高频问题
专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：
三、路线必明： AI 大模型学习路线图，1 张图理清核心内容
刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！
路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。
L1阶段:启航篇丨极速破界AI新时代
L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段：攻坚篇丨RAG开发实战工坊
L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段：跃迁篇丨Agent智能体架构设计
L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。
L4阶段：精进篇丨模型微调与私有化部署
L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。
L5阶段：专题集丨特训篇 【录播课】
四、资料领取：全套内容免费抱走，学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：
👇👇扫码免费领取全部内容👇👇
2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！
扫一扫
1249
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
