本地部署Anything LLM+Ollama+DeepSeek R1打造智能知识库并实现远程访问

最新推荐文章于 2025-05-08 15:24:39 发布

大靠山

最新推荐文章于 2025-05-08 15:24:39 发布

阅读量3.9k

点赞数 20

文章标签： nginx 人工智能运维 powerpoint 服务器

本文链接：https://blog.youkuaiyun.com/m0_59235245/article/details/145688618

版权

前言

本文主要介绍如何在Windows电脑上本地部署Ollama并接入DeepSeek R1大模型，然后使用强大的开源AI工具Anything LLM结合cpolar内网穿透工具轻松实现随时随地使用与上传内容来训练本地部署的大模型，无需公网IP，也不用准备云服务器那么麻烦！

之前和大家分享过如何在Windows电脑上快速搭建DeepSeek R1大模型，并通过open webui实现在浏览器端远程访问与使用大模型，但是如果除了想要一个美观的聊天界面外还想要训练AI，让他更懂你所从事的专业问题的话，如果有一个可以将任何文档、资源（如网址链接、音频、视频）或内容片段转换为上下文，以便任何大语言模型（LLM）在聊天期间作为参考使用的软件就非常有必要了。

AnythingLLM就是这样一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有DeepSeek，不再受制于人：您可以本地运行，也可以远程托管，并能够与您提供的任何文档智能聊天。AnythingLLM将您的文档划分为称为workspaces (工作区)的对象，工作区的功能类似于线程，同时增加了文档的容器化。工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您可以保持每个工作区的上下文清晰。

Anything LLM支持多种部署方法，本例中我们将在Windows系统进行演示，下面就来详细进行介绍！

1. 本地部署Ollama+DeepSeek

如果没有安装Ollama与DeepSeek，可以查看这篇教程进行安装：《Windows本地部署deepseek-r1大模型并使用web界面远程交互》

简单来说就是访问Ollama的官网，下载适配你的操作系统的客户端，安装好之后用cmd打开Windows系统自带的终端界面：

然后回到Ollama的官网，找到你想要下载的各种量级的模型对应的模型下载命令：

比如我这里下载1.5b的轻量级deepseek模型，就在cmd终端中执行这个命令就能安装了：

ollama run deepseek-r1:1.5b

现在我们就已经能够在本地Windows电脑上通过ollama正常使用deepseek-r1模型与AI进行聊天了！

2. 本地安装Anything LLM

下面我们访问Anything LLM的官网下载Windows客户端：

下载后，双击应用程序进行安装：

07f5c4ee765ad2a6c71c509a63a3865

安装完毕后打开软件后，点击get started按钮进入使用界面：

0e95032c8c74b063f257acda4e8aefd

3. 配置与使用演示

第一步选择Ollama：

18e81eb80c92523130f3835a00d81a6

选择好之后，点击右侧的箭头，下方会出现选择使用哪个大模型的下拉框，我们可以在这里看到之前本地部署的deepseek-r1:1.5b模型，如果你本地还有其他模型，也会出现在这里。

e9c8598ef1d90254a2a796f9c3a3c12

下一步确认信息后，点击右侧箭头继续：

68bc9f5ab2f59a7a139b84ab8ce9839

现在我们需要创建一个工作区，并给它取个名字，输入后继续点击右侧箭头：

b064f9709aa4cf5a16c264bda22012a

在Anything LLM中配置好了大模型，并创建了一个工作区后就可以看到欢迎界面了：

8f4fbde1afe4bb0e32fc56c50c6d8ee

点击左下角的扳手（设置），我们可以对界面语言进行修改：

bd30b2c0a9b0cbfdce7c67ccb3120ce

设置好之后，点击同一位置的返回按钮，即可回到工作区，在下方的输入框中，就可以和大模型聊天了！

如果我们需要上传文件或是图片等资料，点击工作区名称标签后的上传按钮即可打开上传界面：

除了支持多种文档类型（PDF、TXT、DOCX等），在上传按钮下方还可以直接粘贴网址，真的是非常方便又全面。勾选你要上传的文件，

点击右下角的保存和嵌入按钮即可上传你的资料。通过Anything LLM管理超大文档时高效、低耗。只需要一次就可以嵌入（Embedding)一个庞大的文档或文字记录，比其他文档聊天机器人解决方案节省超多成本。

4. 远程调用大模型

在设置界面的LLM首选项中，我们能看到刚才选择的LLM提供商是ollama，下方是模型信息，最底部有ollama运行的地址和端口：

如果我们想要在局域网内让其他的小伙伴也能远程使用Anything LLM调用ollama使用大模型进行聊天，那么我们需要进行对ollama进行一下环境变量设置！

打开cmd终端，执行下面两个命令：

setx OLLAMA\_HOST "0.0.0.0"  
setx OLLAMA\_ORIGINS "\*"

然后点击电脑桌面右下角的ollama图标退出并重启服务：

重新开启ollama服务后，同一局域网下的小伙伴在Anything LLM中将ollama的地址改为你的电脑IP加上端口号11434后，就能使用你在本地部署的大模型进行聊天或者上传文件训练了。

5. 安装内网穿透

不过我们目前只能在本地局域网内多人使用Anything LLM远程访问大模型，如果想让异地好友、让更多人也能使用你在部署的deepseek大模型应该怎么办呢？很简单，只要安装一个cpolar内网穿透工具就能轻松实现远程访问内网主机中部署的服务了，接下来介绍一下如何安装cpolar内网穿透。

首先进入cpolar官网：

cpolar官网地址: https://www.cpolar.com

点击免费使用注册一个账号，并下载最新版本的cpolar：

登录成功后，点击下载cpolar到本地并安装（一路默认安装即可）本教程选择下载Windows版本。

cpolar安装成功后，在浏览器上访问http://localhost:9200，使用cpolar账号登录,登录后即可看到配置界面,结下来在WebUI管理界面配置即可。

接下来配置一下 Ollama 的公网地址，

登录后，点击左侧仪表盘的隧道管理——创建隧道，

隧道名称：ollamads（可自定义命名，注意不要与已有的隧道名称重复）
协议：选择 http
本地地址：11434
域名类型：选择随机域名
地区：选择China Top

隧道创建成功后，点击左侧的状态——在线隧道列表,查看所生成的公网访问地址，有两种访问方式,一种是http 和https：

在Anything LLM的设置界面中使用上面的任意一个公网地址替换刚才IP加端口号的地址，点击右上角的保存按钮后，就可以实现异地远程访问本地部署的deepseek大模型聊天了！使用了cpolar的公网域名,无需自己购买云服务器，轻松搞定远程访问。

PS：如果替换地址后无法使用，退出重新启动一下Anything LLM即可

总结

为了方便演示，我们在上边的操作过程中使用cpolar生成的HTTP公网地址隧道，其公网地址是随机生成的。这种随机地址的优势在于建立速度快，可以立即使用。然而，它的缺点是网址是随机生成，这个地址在24小时内会发生随机变化，更适合于临时使用。

如果有长期使用Anything LLM远程访问本地部署的DeepSeek等大模型，或者异地访问与使用其他本地部署的服务的需求，但又不想每天重新配置公网地址，还想让公网地址好看又好记并体验更多功能与更快的带宽，那我推荐大家选择使用固定的二级子域名方式来配置公网地址。

6. 配置固定公网地址

接下来演示如何为ollama服务配置固定的HTTP公网地址，该地址不会变化，方便分享给别人长期访问你部署的大模型，而无需每天重复修改服务器地址。

配置固定http端口地址需要将cpolar升级到专业版套餐或以上。

登录cpolar官网，点击左侧的预留，选择保留二级子域名，设置一个二级子域名名称，点击保留,保留成功后复制保留的二级子域名名称：

保留成功后复制保留成功的二级子域名的名称：myolds，大家也可以设置自己喜欢的名称。

返回Cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道：ollamads，点击右侧的编辑：

修改隧道信息，将保留成功的二级子域名配置到隧道中

域名类型：选择二级子域名
Sub Domain：填写保留成功的二级子域名：myolds

点击更新(注意,点击一次更新即可,不需要重复提交)

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名：

最后,我们在Anything LLM的设置界面中使用上面的任意一个固定的二级子域名公网地址替换刚才的随机公网地址，现在开始就不用每天都更换公网地址来远程访问本地部署的大模型了。

以上就是在Windows系统本地安装Ollama大模型工具与deepseek r1模型，使用Anything LLM结合cpolar内网穿透工具实现随时随地远程访问本地部署的大模型，并配置固定不变的二级子域名公网地址与AI聊天并搭建智能知识库的全部流程。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述