一、通过Ollama安装Deepseek本地模型
1、本地安装Ollama软件。
Ollama 是一个开源项目,专注于简化大型语言模型(LLMs)的本地运行与部署。下载网址为“https://ollama.com/download”,选择选择windows安装包。默认安装在C盘,正常安装即可。
2、采用命令行运行,加载deepseek模型。
开始窗口搜索cmd,以管理员身份运行,输入“ollama run deepseek-r1:14b”。输入后开始下载,等待下载完成即可。
不同模型的安装指令,任选其一或多个。对应的硬件配置见后面列表,可以都试试,跑不动了再说。
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b
ollama run deepseek-r1:671b
deepseek本地模型及其对应硬件要求(仅供参考),事实是高配的个人台式机电脑也能跑动32b,只是如果显存不足24G会不再调用GPU并只用CPU。

如果进行本地知识库部署,需要再输入以下指令“ollama pull shaw/dmeta-embedding-zh”,直到下载完成。
命令行输入“ollama list”可以查看已安装的Ollama模型。

3、Ollama环境设置,以支持远程调用。
打开“此电脑-右键属性-高级系统设置-高级-环境变量”,最下面点击“新建(W)”,弹出“新建系统变量”弹窗。
系统属性窗口中,变量名输入:“OLLAMA_HOST”, 变量值输入:“0.0.0.0”。保存后,再新建系统变量,变量名输入:“OLLAMA_ORIGINS”, 变量值输入:“*”。

完成这些配置后,远程客户端应该就能够连接到Ollama服务了。调用时只需要提供“Ollama URL”或“API域名”,即“http://localhost:11434”或“http://127.0.0.1:11434”。均表示通过本地主机提供服务。
二、Deepseek配置联网功能
1、方式1——通过浏览器插件配置(常用单台电脑)
以Windows自带的Egde浏览器为例,调用本地Deepseek模型。在Egde浏览器中点击插件图标,点击“获取Microsoft Edge 扩展”,输入“Page assist”,点“获取” “Page Assist - A Web UI for Local AI Models”,


点击新聊天。显示OLLAMA is running即可使用。
在“一般设置-管理网络搜索”中,点击开启“执行简单的网际网路搜索”,聊天页面会增加联网搜索功能按钮。搜索引擎选择“Sogou”或者“Baidu”在国内免费、可用,总搜索结果可以设置“50”,表示输入最多50个联网搜索结果,然后合并你的问题向Deepseek进行联网提问。此时影响Deepseek结果的核心因素就是1)你的问题表述方式2)联网搜索的质量。


所以,这里的使用建议是,采用Firefox、Edge两个浏览器分别配置“Sogou”搜索、“Baidu”搜索,总搜索结果数量可选大一点。
2、方式2——通过Open-WebUI配置(常用多台电脑&手机端)
Open-WebUI适合平日使用多台电脑,以及需要PC端(台式机、笔记本)、移动端(pad、手机)同时使用的人群。与浏览器插件不同的是,Open WebUI的移动端与网页版没有任何区别,对于经常切换使用入口的人十分友好。
自己安装后,或采用别人的平台,注册后以管理员身份登录。只有管理员才能设置联网搜索功能,普通用户只能使用。

选择可用的联网搜索引擎。我用了一个付费的AI搜索引擎。官网“https://bochaai.com/”,目前质量尚可,就是速度一般。正在找更好的搜索引擎。其他引擎需要科学上网和代理设置。

3、联网功能的组合设置
使用者不能科学上网的话。建议2个浏览器分别配置“Sogou”和“Baidu”引擎,然后Open WebUI配置付费的搜索引擎。对同一个问题可以得到不联网的答案、基于Sogou搜索的答案、基于Baidu搜索的答案和基于付费AI搜索引擎的答案,共计4种类型。综合比较后,根据自己的实际使用情况选择使用频率。
使用者可以科学上网的话。除了上述几个布置,可以多配置几个Docker版的Open WebUI,譬如webui-bocha、wenbui-google、webui-bing、webui-duckduckgo。每一个设置一种搜索引擎,测试与自己需求的匹配情况,综合比较后选择使用哪种搜索引擎。
三、通过Docker Desktop配置Open-WebUI和RAGFlow
1、前期环境配置:开启WSL2
①升级Windows版本。
win+R打开运行框,输入cmd回车,输入:“winver”查看系统版本号。WSL2对系统版本有要求,如果内部版本低于19041,需更新到最新的Windows版本。这里的建议是直接升级Win11。

Win10升级进入以下链接“https://www.microsoft.com/zh-cn/software-download/windows10”。

升级后核查版本号是否高于19041。最方便的,还是直接升级到Win11,再核查版本号。
②BIOS页面开启CPU虚拟化。
重启电脑,进入BIOS设置,一般是按F2或者Delete,具体看主板。建议网上搜索下相应品牌和型号的电脑BIOS快捷键。在大多数情况下,虚拟化技术选项会被归类在“Advanced”或类似的界面中。这部分看电脑,不多赘述。
③开启虚拟机功能。
控制面板,打开三个功能项,选中后重启。

或者采用另一种方式。开始页面搜索PowerShell,以管理员身份打开PowerShell中。

运行下面命令,以确保开启适用于Linux的Windows子系统和虚拟机平台配置项。“dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart”以及“dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart”。
一定要重新启动。
④安装WSL2
在PowerShell 中输入以下命令并执行:“wsl --install”。会自动执行安装“Ubuntu”。

也可以通过命令行查看在线版本。“wsl --list --online”。

然后选择命令行“wsl --install Ubuntu-22.04”安装对应版本Ubuntu-22.04。
检查WSL版本升级,命令行“wsl --update”。
设置默认版本为WSL2。命令行“wsl --set-default-version 2”
最后一定核查版本。命令行“wsl -l -v”。VERSION为2。

至此,我们在Windows系统上安装好了一个Linux子系统。
2、安装Docker Desktop
①安装Windows版本的Docker Desktop软件
进入Docker官网 (www.docker.com/) ,下载对应版本并安装。下载最新的。

然后以管理员身份安装。

②拉取镜像,软件较大,比较费时
先PowerShell拉取Open-WebUI的镜像,采用国内镜像源。“docker pull ghcr.nju.edu.cn/open-webui/open-webui:main”。官方镜像为“docker pull ghcr.io/open-webui/open-webui”非常慢。

再拉取RAGFlow的镜像。“docker pull infiniflow/ragflow:v0.16.0”

两个镜像下载完成后。可以看到Open-WebUI是4.46GB,而RAGFlow由好几个镜像组成,总计20GB左右。其他必要镜像后续再下载。

3、安装Open-WebUI
①安装docker版Open-WebUI软件。
采用PowerShell命令行安装。“docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui”。

检查docker desktop界面。如下图,进入“http://127.0.0.1:3000”说明成功了。

进入“http://127.0.0.1:3000”后的效果。点击开始使用,注册管理员账户、密码。


如果本地已经安装Ollama,可以看到已安装的Deepseek。

②配置Open WebUI。
如图进入“管理员面板”。

除了本地部署的蒸馏版Deepseek模型,还可以新增自己的满血版Deepseek API以及不用科学上网的ChatGPT API。

硅基流动的API(支持Deepseek)如下。Prefix ID(提供商名称)为“SiliconFlow”,URL为“https://api.siliconflow.cn/v1”,密钥为“sk-***********”。这三个参数你在自己购买的API服务文档都能找到。
点击保存。

ChatGPT的API如下。我采用了Github上的一个项目,网址如下“https://github.com/chatanywhere/GPT_API_free”。支持国内使用的ChatGPT API,有免费的,也有收费的。免费版支持gpt-4,一天3次;支持gpt-4o-mini,和gpt-3.5-turbo共享一天200次。
收费版参数如下:Prefix ID(提供商名称)为“OpenAI API”,URL为“https://api.chatanywhere.tech”,密钥为“sk-***********”。点击保存。

进入模型,可以看到所有支持的大模型。如下图,只是没选择硅基流动的模型,所有模型加一起有87个。最好是在上一步只添加需要的模型,不然一个个关闭太费劲了。

点击至新的对话界面。可以自由选择模型,进行对话。

Open WebUI安装结束。其他的附带功能请看官方文档“https://docs.openwebui.com/”。
譬如支持调用GPU。需要运行的时候增加“–gpus all”。前提是先安装nvidia-container-runtime,否则当你运行open-webui时会报错:docker: Error response from daemon: could not select device driver “” with capabilities: [[gpu]].
4、安装RAGFlow
需要参考“https://github.com/infiniflow/ragflow”官方文档。
①修改vm.max_map_count参数的值。
运行PowerShell,命令行输入“wsl”进入linux子系统;命令行输入“sudo -i”并输入密码(密码输入过程中命令行无反应),将权限转为root。下图表示已经转为root权限。

命令行“sysctl vm.max_map_count”查询,然后输入命令行“sudo sysctl -w vm.max_map_count=262144”重设。
②下载源代码至本地,并修改参数
点击进入“https://github.com/infiniflow/ragflow”。Code选择Download ZIP。并解压至本地文件夹。


进入docker文件夹,然后右键点击“.env”文件用记事本打开。Crtl F搜索“The RAGFlow Docker image to download”,将需要下载的模型“RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0”取消注释,表示后续采用此模型。这个模型其实就是前面提前下载的模型。

这两个环境参数“HF_ENDPOINT=https://hf-mirror.com”“MACOS=0”同样取消注释。前者表示采用国内镜像Hugging Face,后者表示非mac操作系统,如果是mac,选择“MACOS=1”。
③本地采用docker-compose.yml安装。
进入ragflow-main\docker文件夹,输入cmd。可以直接以管理员身份进入该文件夹。


输入命令行“docker compose -f docker-compose.yml up -d”,表示通过该文件的配置安装并运行RAGFlow。
进入docker desktop检查运行情况。

打开浏览器,输入“localhost”或者“127.0.0.1”或者本地网络IP出现登录页面,表示安装成功。注册管理员账户使用即可。

创建完账户后,添加模型供应商。

④配置模型。
添加Ollama的“chat”模型。模型名称通过查看ollama list查看,填入已有的模型如“deepseek-r1:32b”。基础url采用“http://host.docker.internal:11434”。点击确定,可能需要配置一段时间。

设置系统默认模型。模型比较重要的是聊天模型和嵌入模型。分别选本地部署的“deepseek-r1:32b”和自带的“BAA/bge-large-zh-v1.5”。

基础的设置完成。
⑤加载并解析本地知识库文件。
新增知识库,设置中选择文档语言“中文”或“英文”,按实际来。嵌入模型选large的,解析方法选“General”,其他的参数后续可以根据实际效果调整。

保存后进入数据集。新增文件并点击解析。

解析完成后可以看到。原文件和解析结果,自主确定是否纳入知识库。

⑥新建对话助理。
设置名称譬如“规划法律法规助手”。知识库选择“规划法律法规”。模型设置里,你可以选择使用满血的Deepseek,而不是本地部署的32b蒸馏版Deepseek模型,以获得更快的响应速度和更好的回答质量。

聊天界面如下图,会给出引用的原始图片和解析结果。


⑦多知识库联合搜索。
搜索界面,支持多个知识库联合搜索。

⑧AI Agent配置
AI Agent配置,进阶使用。支持使用“满血版Deepseek+搜索引擎配置+本地知识库”。

RAGFlow功能较多,且正处于迭代升级中。其他内容请参考官方文档“https://ragflow.io/docs/dev/”。
想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?别再浪费时间啦!2025 年 AI 大模型全套学习资料已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享!
👇👇扫码免费领取全部内容👇👇

一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势
想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI:
1. 100+本大模型方向电子书

2. 26 份行业研究报告:覆盖多领域实践与趋势
报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:

- 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
- 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
- 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
- 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
3. 600+套技术大会 PPT:听行业大咖讲实战
PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:

- 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
- 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
- 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
- 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走
想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!

1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位
面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析:

2. 102 道 AI 大模型真题:直击大模型核心考点
针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:

3. 97 道 LLMs 真题:聚焦大型语言模型高频问题
专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:

三、路线必明: AI 大模型学习路线图,1 张图理清核心内容
刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图」直接帮你划重点,不用再盲目摸索!

路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。

L1阶段:启航篇丨极速破界AI新时代
L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段:攻坚篇丨RAG开发实战工坊
L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段:跃迁篇丨Agent智能体架构设计
L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

L4阶段:精进篇丨模型微调与私有化部署
L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

L5阶段:专题集丨特训篇 【录播课】

四、资料领取:全套内容免费抱走,学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:
👇👇扫码免费领取全部内容👇👇

2025 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!
小白版windows教程,大模型入门到精通,收藏这篇就足够了!&spm=1001.2101.3001.5002&articleId=152720134&d=1&t=3&u=7f9175dd14384d28aa8ebaf154152d23)

被折叠的 条评论
为什么被折叠?



