本地大模型构建知识库 Ollama + LobeChat + AnythingLLM

在本地使用大模型搭建知识库，可以充分保障数据的隐私和安全，同时由于不需要依赖网络连接方便企业内部使用此外，最重要的是能够对模型和知识库进行定制化，根据具体需求进行调整，从而更好地满足特定业务场景的要求，既能供企业内部使用，也能做成Server供客户使用。

哪里可以获取大模型？

大模型的种类很多，而且版本更新比较频繁，不过当前所有流行的开源大模型都可以在HuggingFace上下载。HuggingFace可以说是AI模型领域的Github，这里有70多万种模型，涵盖多模态、计算机视觉、NLP、强化学习等领域。

通过HuggingFace的分类Libraries下的Transformers就能获取到大模型的Trending流行趋势信息，其中Meta的羊驼Llama3系列、法国Mistral AI的Mistral系列、阿里的Qwen系列是目前业内最广泛使用的开源大模型。

HuggingFace上有当前最热门的大模型

同时我们也可以关注和了解一下开源大模型的横向评分测评，以下是这三个大模型的评测对比，阿里的通义千问Qwen2-72B是当前这个规模最强的开源模型。不过我之所以更推荐国内用户选择Qwen2，主要是开源大模型对中文的支持程度不同，Qwen2更适合国内用户。

三大模型的能力PK

Ollama、WebUI工具链

为了方便在本地部署大模型，就需要使用大模型的运行框架，可供选择的方案有vLLM、LM Studio等，这里更推荐Ollama。Ollama支持Windows、MacOS、Linux平台，能够智能地利用可用的的硬件资源（GPU和CPU）加速推理并优化性能，能够非常方便地安装和管理各种大模型，包括Qwen2。

Ollama支持快速安装各种大模型

Ollama的安装，以及使用Ollama部署模型都非常简单，在官网下载安装好之后通过以下命令就能部署安装qwen2 7b的模型，而如果你的本地硬件配置足够，可以选择72b的模型。

ollama run qwen2

Ollama支持千问qwen2系列的下载

大模型部署完成后通常只有一个命令行的界面，而有了Ollama丰富的生态，我们可以借助于一些WebUI工具能与大模型进行聊天的交互，也可以基于API，将大模型与应用程序和工作流集成。

通过ollama可以快速启动本地大模型

至于WebUI，可供选择的方案也有很多，比如Open WebUI，NextChat，我个人比较喜欢使用LobeChat，因为它支持很多闭源模型的API，也支持云端部署的大模型，还支持离线部署的大模型。

LobeChat支持各种闭源、本地大模型

我们可以使用Docker在本地安装LobeChat，至于如何在LobeChat中使用Ollama可以看官方的文档：https://lobehub.com/zh/docs/usage/providers/ollama

LobeChat选择本地大模型

RAG应用的构建

如果只是想要拥有一个离线的大模型聊天平台，以上内容就可以解决你大部分问题，但既然你要选择在本地部署大模型，显然就不该止步于此，你可以结合本地大模型+Ollma+个人或企业内部的资料（知识库）来定制化开发专属而私密的RAG应用。

RAG的框架有很多，比如RAGFlow、AnythingLLM、Verba、Flowise、Langflow、Quivr等等，这里只以AnythingLLM为例。
AnythingLLM和Ollama一样也支持MacOS、Windows。Linux，安装完成打开软件，可以看到如下操作界面，在大模型服务商里选中Ollama后，输入Ollama的服务端模式的地址（可以通过在终端输入ollama serve开启）http://127.0.0.1:11434之后，就能看到我们之前安装的Qwen2 7b的模型了。

AnythingLLM支持Ollama+本地大模型

确定设置并进行下一步之后，就可以看到构建RAG的三要素，大模型、嵌入模型以及向量数据库，AnythingLLM就都给我们安排好了。

AnythingLLM内置嵌入模型和向量数据库

然后我们就可以在工作区添加一些txt文本文件、代码文件、csv以及表格、音频文件、外部网页等等，还支持搜索、连接数据库等等，通过AnythingLLM来管理本地的知识库就会方便很多。

AnythingLLM支持多种格式和多种形式的本地知识库

这种本地搭建大模型和基于本地知识库搭建RAG应用的方式比较推荐企业内部需要离线以及对知识库安全要求较严格的场景，如果是中小企业，推荐使用阿里云的百炼，部署更加简单，成本也更低（主要是硬件成本相对更低，目前token的费用也是白菜价）。

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

下面这些都是我当初辛苦整理和花钱购买的资料，现在我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。