上一篇文章,我们已经讲了,怎么搭建本地大模型,但是这个大模型是私有的知识库,是截止到2023年的,现在是2024年了,我们需要更新,另外我们很多公司有自己的特定私有需求,比如自己公司的私有产品介绍以及很多业务报表数据,这种数据是不方便放到公有的大模型的,所以公司需要搭建自己的私有大模型,投喂自己公司专用的知识库,方便公司所有人员快速查询和使用。
好,不废话了,直接开始:
第一步:前提准备工作
本地电脑已经安装好了Docker和Ollama以及qwen2.5大模型,并已运行中,以及调试成功,如图:
第二步:下载安装软件:anythingllm
下载地址:https://anythingllm.com/download
下载和安装都是常规操作,建议安装目录不要放C盘
第三步:anythingllm配置关联Ollama
第一次打开anyingllm会有一个设置向导,我这里因为已经安装了,不能截图了,类似以下截图,需要设置LLM的提供商,我们选择我们之前安装的Ollama:
打开命令行,运行ollama pull nomic-embed-text,下载nomic-embed-text
然后创建自己的工作空间:并点击设置:
第四步:测试连通对话:
第五步,上传私有的自己知识库,然它回答
我们首先问它一个不知道的问题:
然后我们准备这个问题的答案:放在一个word文档里面:
上传这个word到大模型知识库: