大模型笔记 | 基于llama3.1 搭建知识库检索

llama3.1发布了，本文将基于最新的llama3.1搭建一套完整的自由知识库检索的案例，并将在后续的使用中逐步优化。

1，准备知识库文档，放置到一个根目录中。

2，使用llama_index将文档加载，并调用分段器将文档分段。

3，选择向量化模型（Embedding），创建大模型交互上下文。

4，使用大模型上下文将文档段的集合建立索引。

5，准备大模型对话上下文。

6，使用大模型上下文将“问题”向量化。

7，基于引导词，驱动检索用户问题，利用相似性得分选择备选答案，将答案拟合润色为最终答案返回。

核心步骤及流程如下：

搭建自由知识库的总体架构是什么样的？

感谢各位勇士的提醒，先给出框架图。

步骤一：文档都支持什么格式？pdf最好吗？

目前理论上所有可以ocr识别的内容，都是可以支持的，本文先以pdf为例，高级版本各位勇士需手动修改。

下面是将指定文档目录作为知识库的根目录；并将内容加载到llamaIndex。

步骤二：Embedding 词嵌入是必须的吗？不同的词嵌入有区别吗？为什么要吧Embedding 翻译为词嵌入？

词嵌入环节是必须的。

不同的词嵌入模型可能在向量化时会有不同的效果，尤其是特定专业特定行业时。

为什么把Embedding翻译为词嵌入，这个算是一个比较形象的表达了，你可以想象为一个苹果树上的苹果，苹果镶嵌在果树上，距离、位置、朝向都不同，跟这个感觉是类似的。

理论化一点的表述是：一种将文本数据表示为数值向量的技术，可以将其输入到机器学习模型中。嵌入模型负责将文本转换为这些向量。

步骤三：数据库选型必须用向量数据库吗？向量数据库怎么选择？

理论上传统数据库也可以存储词嵌入计算后的向量值，就跟传统数据库用来存储的json数据、二进制数据是类似的。

但向量数据库有它更适合这个场景的优点，如距离计算、相似性检索、同时也保留了CRUD 操作、元数据过滤和水平缩放、索引等传统数据库技术。

默认情况下，LlamaIndex 使用简单的内存向量存储，非常适合快速实验。

步骤四：创建提示词模板并问答

我们在本例中使用ollama加载llama3.1模型，在后续的版本优化模型调用时间。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。