搭建基于AIGC的私有知识库

前言

目前大量成熟的开源大模型和周边生态工具，基于开源大模型和工具，如检索增强生成（RAG）甚至模型微调等，可以轻松的搭建一个私有的AIGC知识库。

本文通过Qwen7B大模型，以及Ollama、AnythingLLM等搭建无需网络就可使用的本地私有知识库。

相关知识

Qwen是指阿里云开发的一种大型语言模型（Large Language Model, LLM）。

Ollama是专为在本地机器上便捷部署和运行大语言模型LLM而研发的开源工具。

AnythingLLM是基于 LLM ，集成 RAG、向量数据库和Agent的工具，可以选择配置不同的 LLM 或向量数据库，能够将任何文档、网页链接、音视频文件等转化为 LLM 可以理解的上下文信息。

大模型微调需要输入大量的资料训练完善已有大模型，会消耗大量的GPU等，一般私有知识库直接用检索增强生成RAG（Retrieval-augmented Generation）技术即可，能更快速、精准、稳定、经济的达成预期检索效果。

整体技术关系如下：

搭建方法

整体搭建步骤：

• 下载Ollama到本地 https://ollama.com/download，默认端口11434

• 下载大模型