【AI大模型应用开发】【LlamaIndex教程】3. Query查询模块基本用法，兼看如何使用已有向量存储

已于 2024-05-31 19:25:27 修改
阅读量1.3k 收藏 27
点赞数 28
分类专栏： 大模型 文章标签： 人工智能 笔记 AIGC agi llama
于 2024-05-30 07:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Attitude93/article/details/139167547
版权

大家好，我是 同学小张，持续学习C++进阶、OpenGL、WebGL知识技能和AI大模型应用实战案例，持续分享，欢迎大家点赞+关注，+v: jasper_8017 一起交流，共同学习和进步。

前面我们系统学习了 LlamaIndex 的文本加载、文本存储方式，本文我们继续来学习 LlamaIndex 中的 query 模块。

文章目录

0. 背景

前面文章 两行代码就实现了数据的查询。

query_engine = index.as_query_engine(
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【AI大模型应用开发】【RAG评估】2. 实战：LangChain x RAGAs x LangSmith联合评估RAG应用，兼看如何借助LangSmith有效学习LangChain
同学小张的博客
02-26 2809
今天我们完整的实战：将RAGAs集成在LangChain的RAG应用中，同时打通LangSmith平台，使评估过程可视化。同时还会有意外收获：带你看看如何利用LangSmith平台来有效学习LangChain的使用和相关知识。
【AI Agent系列】【MetaGPT多智能体学习】8. MetaGPT多智能体进阶练习 - 使用MetaGPT重构BabyAGI
同学小张的博客
03-06 1541
本文我们利用MetaGPT的多智能体实现框架，重构一遍 BabyAGI。从本文你可以更加了解MetaGPT的多智能体间的交互机制与数据流程。
AI 入门，从零搭建完整 AI 开发环境，并写出第一个 AI 应用
qingkahui24689的博客
07-28 8693
在本文中，我们从零开始，一步步搭建了一个完整的AI开发环境，并创建了一个简单的AI应用。您学习了如何安装Python、Anaconda、TensorFlow，以及如何使用Jupyter Notebook进行开发。通过这个简单的手写数字识别应用，您不仅学习了AI的基本概念，还亲身体验了AI的应用。AI是一个广阔而充满机遇的领域，希望这个教程能够激发您继续深入学习和探索AI的兴趣。
大模型部署工具 llama.cpp 介绍与安装使用
youmaob的博客
04-07 1万+
另外一个是量化，量化是通过牺牲模型参数的精度，来换取模型的推理速度。llama.cpp 提供了大模型量化的工具，可以将模型参数从 32 位浮点数转换为 16 位浮点数，甚至是 8、4 位整数。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外提供服务。大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约。llama.cpp 提供了模型量化的工具。
LlamaIndex的索引结构--VectorStoreIndex
最新发布
沐雪架构师
05-06 317
向量存储（Vector Stores）是检索增强生成（RAG）系统的关键组件，因此在使用 LlamaIndex 构建应用时，几乎都会直接或间接地使用它们。Node。
ai大模型应用开发：零基础入门到精通ai大模型应用开发，（非常详细）收藏我这一篇就够了！
2401_85375298的博客
12-17 5358
随着大模型技术的飞速发展，我们正站在一个全新的技术前沿，探索着如何将这些强大的工具应用于实际问题的解决。如果你对AI大模型应用开发充满热情，那么你可以读一下这篇文章——一个系统全面的入门指南，专为渴望深入AI世界的你设计。先来总结下整个路径图：至今我们还没发现有其它博主如此系统和全面地写一套AI入门教程。
面向AI应用开发实战分享 - 基础篇
bilibili_TC的博客
06-07 2127
本文将带大家从面向AI开发的基础知识开始，再到RAG，Agent，流程编排，深入了解如何在企业内部落地AI项目。
【AI Agent系列】【MetaGPT多智能体学习】7. 剖析BabyAGI：原生多智能体案例一探究竟（附简化版可运行代码）
同学小张的博客
03-04 1710
今天我们拆解一个之前提到过的多智能体案例 - BabyAGI，梳理出其实现原理，多智能体间的交互过程（数据流）。这是最原生的多智能体案例，没有用类似AutoGPT或MetaGPT等任何多智能体框架。从这个案例中我们能更好地理解智能体的底层实现原理。
零基础入门AI大模型应用开发，你需要一个系统的入门路径！
同学小张的博客
09-06 1854
如果你对AI大模型应用开发充满热情，那么你可以读一下这篇文章——一个系统全面的入门指南，专为渴望深入AI世界的你设计。
大模型的训练与应用 | 七、进阶的RAG技术（下篇）：Query变换、聊天引擎、Query 路由、响应合成.....
Androiddddd的博客
07-26 937
学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
LlamaIndex 组件 - Querying
AI工程化、开源分享、文档翻译、代码笔记
04-17 2734
一、查询概览 查询管道 二、Retriver 1、概念 2、使用模式 3、开始使用 4、高级API 4.1 选择Retriver 4.2 配置检索器 5、低级组合 API 三、检索器模块 1、索引检索器 2、综合Retriver指南 2.1 高级检索和搜索 2.2 自动检索 2.3 知识图检索器 2.4 组合Retriver 2.5 托管Retriver 2.6 其他Retriver 四、Retriver模式 1、矢量索引 2、概要索引 3、树索引 4、关键字表索引 5、知识图谱索引 6、文件摘要索引 五
LlamaIndex——高级检索/查询
weixin_45325331的博客
05-20 3063
self,) -> None:else:每个响应合成器都继承自 llama_index.response_synthesizers.base.BaseSynthesizer。基本 API 非常简单，这使得可以轻松创建自己的响应合成器。下面我们展示了init() 函数，以及每个响应合成器必须实现的两个抽象方法。基本要求是处理查询和文本块，并返回字符串（或字符串生成器）响应。
LlamaIndex是什么？LlamaIndex综述！看这一篇就够了！
ytt0523_com的博客
04-21 1689
本篇将为各位同学介绍一下LlamaIndex， 它是一个强大的开源工具，它能帮助开发者构建各种基于大型语言模型 (LLM) 的应用程序。它提供了一套工具和 API，使开发者能够轻松地将 LLM 与外部数据源连接起来，从而赋予 LLM 更强大的能力，从功能上看它与LangChian有点类似。
使用langchain及llama_index实现基于文档（长文本）的相似查询与询问
热门推荐
HYY的博客
05-31 1万+
langchain是一个功能强大的库，它为我们提供了许多方便的工具和模型，包括OpenAI模型。它通过链式调用的方式将这些组件连接在一起，创造出一个连贯的应用程序。同时，langchain还提供了内存组件Memory，可以帮助我们管理之前的聊天消息，以及Indexes和Agents等功能。LlamaIndex（GPT Index）是一个用于LLM应用的数据框架，集成了langchain及chatgpt相关应用，更便于我们实现结构化数据和高级检索的相关功能。
llamaindex 使用向量存储索引（VectorStoreIndex）
xycxycooo的博客
07-30 2968
在实际应用中，结合不同的向量存储和自定义节点处理，可以实现更复杂和精细的检索需求。向量存储（Vector Stores）是检索增强生成（RAG）的关键组件，因此你几乎会在使用LlamaIndex构建的每个应用程序中直接或间接地使用它们。有关如何使用持久向量存储的更多信息，请参阅下面的“使用向量存储”部分。时，你的文档会被分割成块并解析为节点对象，这些节点对象是文本字符串的轻量级抽象，用于跟踪元数据和关系。有关如何使用VectorStoreIndex与特定向量存储的示例，请查看存储部分下的向量存储。
LLM之RAG实战（二十三）| LlamaIndex高级检索（二）：父文档检索
wshzd的博客
02-05 1685
在查询期间，我们对较小的块执行搜索，并将他们的父块作为上下文传递给LLM。首先检索与回答查询最相关的较小数据段，然后使用它们相关的父标识符访问并返回将作为上下文传递给LLM（大型语言模型）的较大父数据块。文件夹中，这样做的目的是为了保留我们从上一篇文章中构建的基本RAG管道的度量，方便进行性能比较，如果您不想这样做，则不必这样做。在上一篇文章中，我们介绍了基本RAG的构建，也探讨了RAG管道中从小到大检索技术的两种主要技术：父文档检索和句子窗口检索。您可以使用下面的代码来评估管道的性能。
128 深入解析RetrieverQueryEngine的节点后处理与查询方法：提升查询结果质量 llamaindex.core.query_engine.py
xycxycooo的博客
08-29 1027
通过本文的详细解析，我们深入理解了类的节点后处理与查询方法。这些方法提供了强大的功能，帮助程序员进一步提升查询结果的质量和灵活性。通过提供必要的代码示例和解释，帮助程序员快速掌握并应用这一高效的查询引擎技术。希望本文能为您的编程实践提供有益的参考和指导。
LlamaIndex：轻松构建索引查询本地文档的神器
FrenzyTechAI的博客
06-22 8358
LlamaIndex（以前称为 GPT Index）是一个开源项目，它在 LLM 和外部数据源（如 API、PDF、SQL 等）之间提供一个简单的接口进行交互。它提了供结构化和非结构化数据的索引，有助于抽象出数据源之间的差异。它可以存储提示工程所需的上下文，处理当上下文窗口过大时的限制，并有助于在查询期间在成本和性能之间进行权衡。向量存储索引：最常用，允许您回答对大型数据集的查询。树索引：对于总结文档集合很有用。列表索引：对于合成一个结合了多个数据源信息的答案很有用。关键字表索引。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

同学小张

如果觉得有帮助，欢迎给我鼓励！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值