本文档详细介绍了如何在Windows10系统下，避开Ubuntu虚拟子系统的环境问题，直接通过CMD部署LLM RAG服务。首先从ollama官网下载并安装Windows版本，然后使用ollama和langchain命令行工具下载模型和创建应用。在项目文件夹中编辑启动服务的Python文件，插入必要的路由语句，并修改路径表示为正斜杠。最后启动服务，通过提供的URL访问Playground开始使用。
【背景】
上一篇介绍了如何用Ubuntu命令行部署ollama LLM+RAG服务。部署后等于拥有了基于内网的AI Saas服务，其它内网用户可以通过默认的网址访问Playground对AI进行问答。
【概念】
RAG：通过词向量技术，将文件内容向量化后，通过语言模型以自然交流的形式得到文本相关的内容。可以形容为与文件库或知识库对话的系统。
RAG的后台向量库并不需要对LLM产生影响，LLM是人与向量库（知识库）之间的交流媒介。因此知识库的内容可以随时增减，而不用经历高成本的finetube过程。
【为什么要再写一篇Win10下的部署方法】
实践下来发现，win10虽然可以搞Ubuntu虚拟子系统来以Linux的方式部署ollama框架的ai服务，但是还是存在curl命令下载慢，经常timeout和其它环境问题。
直接在Win10用CMD进行部署则可以成功规避大量此类问题。
【部署方法】
- 首先，直接ollama官网下载win版本的安装包，发现比起痛苦的curl来简直神速了。ollama官网
- 下载后无脑下一步安装。
- 安装完成后，管理员权限打开CMD
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
