Danswer 接入 Llama 2 模型｜免费在 Google Colab 上托管 Llama 2 API

最新推荐文章于 2025-02-10 19:55:12 发布

原创

最新推荐文章于 2025-02-10 19:55:12 发布 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#llama #Danswer #企业知识库 #AI实战

本文详细指导如何在GoogleColab上托管开源模型Llama2，将其接入Danswer，实现本地知识库的语义检索。涉及搭建FastAPI应用、量化模型和Danswer配置等内容。

一、前言

前面在介绍本地部署免费开源的知识库方案时，已经简单介绍过 Danswer《Danswer 快速指南：不到15分钟打造您的企业级开源知识问答系统》，它支持即插即用不同的 LLM 模型，可以很方便的将本地知识文档通过不同的连接器接入到 Danswer，然后实现本地基于知识库的语义检索。它是完全开源的（MIT 许可证）并且免费使用。

1.1、为什么选择 Danswer

默认设置下，Danswer 使用 OpenAI 的 GPT 系列模型，由于很多时候我们因为数据隐私问题需要在本地部署离线的知识库系统，需要接入本地开源的模型，今天本文将简单介绍下如何使用开源模型 Llama 2 接入 Danswer。

至于为什么选择 Danswer，简单啰嗦一下，更具体的信息可以访问官方文档：

它是完全开源的（MIT 许可证）并且免费使用。
允许您即插即用不同的 LLM 模型，例如 GPT、HuggingFace、GPT4All、Llama cpp，甚至自定义自托管模型。
具有开箱即用的关键功能，如文档访问控制、前端 UI、管理仪表板、轮询文档更新和灵活的部署选项。
与 Slack、GitHub、GoogleDrive 等其他工具的连接器的不错列表。

1.2、为什么选择 Llama 2

自从 Meta 公司发布了最新的 LLaMA 2 模型并且开源之后，在LLM领域掀起了一阵不小的浪潮，至少从各种排行榜和评估结果来看，Llama 2 在开源界要优于其它的产品，它击败了 Falcon-40B（之前最好的开源基础模型），与 GPT-3.5 相当，仅低于 GPT-4 和 PALM 2（均为闭源模型，分别由 OpenAI 和 Google 拥有）。

从以上排行榜不难看出，基本上整个列表大部分的开源模型都是由 Llama 2 衍生品组成的。

二、在 Google Colab 上托管 Llama 2 模型

Llama 2 型号有 3 种不同尺寸：7B、13B 和 70B 参数。700 亿参数版本需要多个 GPU，因此无法免费托管。在 13B 和 7B 版本中，13B 版本更强大，但需要一些压缩（量化或降低浮点精度）才能适合单个中档 GPU。幸运的是，Llama cpp 库使这变得相当简单。这里我们将以 Llama 2 13B量化模型来进行演示