Fast GraphRAG:一个比 GraphRAG 更快、成本更低、更高效的RAG框架开源了(本地安装 & 测试)

Fast GraphRAG:微软推出高效的知识图谱检索框架,结合了知识图谱和 RAG 技术 Fast GraphRAG 是微软推出的一款高效的知识图谱检索框架,结合了检索增强生成(RAG)技术和知识图谱,旨在提供可解释性和高精度的代理驱动检索工作流。 阅读详情

向大家 分享一个非常有趣的 RAG 工具,它是基于 GraphRAG 的。先说 GraphRAG 为什么如此受欢迎,并且看起来是任何生产级 GraphRAG 流水线的好选择呢?

因为它处理的是节点和图结构,适用于现实世界的场景。

例如,普通的 RAG 只是通过语义搜索来处理与你的使用案例相似的数据。其过程是:你将数据切分成小块,然后将其转换为数值表示,并存储到某种向量存储中。当用户提出查询时,你从向量存储中找到相关的数据,将其附加到查询中,然后交给 LLM,LLM 会给出一个基于这些数据的回答。

但是 GraphRAG 给它带来了一种新的转变,它是对传统 RAG 的结构化、分层式方法。

>/ 本文的主要素材来源于Fahd Mirza(文末)

GraphRAG 过程包括从原始文本中提取知识图谱、构建知识群体层次结构、生成这些群体的摘要… 后在执行 RAG 任务时利用这些结构。

它有很多优点,最重要的一点是,GraphRAG 做到了普通 RAG 所无法实现的——它能够“连接点”。GraphRAG 通过将语义概念以节点和边的形式联系起来,从而对这些概念进行整体总结。

而现在 …

Fast GraphRAG 也是为了帮助解决这个问题,它能智能地适应你的使用案例、数据和查询。

这个 GraphRAG 有一个很有趣的特点,它提供了一个人类可导航的知识视图,可以精确地可视化和更新。

在这里插入图片描述

它速度快、效率高、成本低(但并非完全免费),并且设计上能够在大规模运行时不需要大量资源。

具有可解释和可调试的知识特性,通过图表提供一个可查询、可视化和更新的人类可导航视图。

同时,系统能够根据领域和本体需求自动生成和优化图表,支持数据变化时的实时增量更新。

通过基于PageRank的图形探索,Fast GraphRAG 提高了准确性和可靠性,且全程异步操作,提供完整的类型支持,确保强大且可预测的工作流程。

总的来说,它是一个高效的知识图谱检索框架,旨在提供可解释性和高精度的代理驱动检索工作流。

介绍的够多了,我们直接进入我的终端,看看如何安装和使用它。

你可以通过 pip 安装 Fast GraphRAG,也可以从源码构建,但我选择了通过 pip 安装,这样简单快捷,安装过程也不会很长。

安装完毕后,你需要一个 OpenAI API 密钥,可以从 OpenAI 的平台(platform.openai.com)获取。

或者从这里:Bolt + 免费的Mistral 和 Github API:免费且强大的AI代理工作流,无需V0(o1-preview免费)

现在还没有任何方法可以将其与本地的 LLM(如 Llama.cpp、或其他)一起使用,或者你可以选择改底层代码base-url。

代码非常简单,首先我们导入 GraphRAG,然后设置领域(domain)。

这里有三件事需要注意:领域,它主要告诉你我们正在处理的是什么,影响整个最高层次的上下文;

代码语言:javascript

复制

from fast_graphrag import GraphRAG

DOMAIN = "Analyze this story and identify the characters. Focus on how they interact with each other, the locations they explore, and their relationships."

然后,我们提供一些示例查询,

代码语言:javascript

复制

EXAMPLE_QUERIES = [
    "What is the significance of Christmas Eve in A Christmas Carol?",
    "How does the setting of Victorian London contribute to the story's themes?",
    "Describe the chain of events that leads to Scrooge's transformation.",
    "How does Dickens use the different spirits (Past, Present, and Future) to guide Scrooge?",
    "Why does Dickens choose to divide the story into \"staves\" rather than chapters?"
]

最后,设置我们希望处理的实体类型。例如,我在这里使用了一个包含个人信息的文本文件。

代码语言:javascript

复制

ENTITY_TYPES = ["Character", "Animal", "Place", "Object", "Activty", "Event"]

grag = GraphRAG(
    working_dir="./book_example",
    domain=DOMAIN,
    example_queries="\n".join(EXAMPLE_QUERIES),
    entity_types=ENTITY_TYPES
)

with open("./book.txt") as f:
    grag.insert(f.read())

print(grag.query("Who is Scrooge?").response)

./book.txt 这个文本文件包含了关于 Fahd Mirza 博主 的个人数据。

代码语言:javascript

复制

"In the rapidly evolving landscape of artificial intelligence, one name has energed as a beacon of clarity and insight: Fahd Mirza. This popular YouTube personality and AI enthusiast has captured the "
"attention of a broad audience with his exceptional ability to denystify complex AI concepts. Through his eponymous channel, ""Fahd Mirza"", he has established himseif as a respected voice in the AI "
"conmunity, making cutting . edge technology accessible to ait. "
"Fahd Mirza's unique strength lies in his capacity to distill intricate AI topics into engaging, easy- to-understand content. His videos have resonated with AI enthusiasts, researchers, and students alike, covering a range of topics that include: "
"! simplifying AI Research Papers: Fahd Mirza decodes complex research papers, rendering then comprehensible to a wider: audtence. AI News' and Trends Analysis: He provides insightful connentary on the Latest developnents in the AI world. 11 A Broad Impact "
"。suoting coplexe cpttts Th ough inowatwe. silatons; Faa mirzg lusrates, tricate. AI lese. facltatin deeer under sandin "
"10 Personal AI Projects and Experinents: Viewers gain valuable insights into his hands . on experiences with AI "" Fahd Mirza's channet has garnered a significant following, testanent to his dedication to making AI accesstble. By brtdging the gap between technical expertise and approachabiltty, he has: "
13 Democratized AI Knowledge: Opening up the world of AI to a broader audience. 
": Fostered Community Engagenent: Encour aging discussion and cotlaboration among AI enthusiasts. artifictal tntelllgence continues to shape our world, Fahd Mtrza's of "
Established Thought' Leadership: Cenenting his position as。trusted authortty tn the AI comnunity on YouTube . 
"contr tbutions serve. as a vital resource for those seeking to understand tts complexittes. HLs channel stands as a shining. example the power of clear comuntcatlon tn making advanced technology accesstble to all. Subscrtbe to""Fahd Mra""on YouTube to stay updated on the latest AT tnstghts and Lnnovations. "

通过 GraphRAG 实例化的对象来执行查询。我查询的是“Fahad 通常讲解什么 AI 主题?”

结果显示,它确实基于提供的文件数据做出了准确的回答,这非常有趣。

执行这个查询的成本,大约是 10 美分,相比真正的 GraphRAG 来说,这个成本还是很低的。

但是,大量数据或者进行频繁的 API 调用,这个成本可能会迅速增加。因此,将它与本地模型结合使用会是个很好的选择,这样就不用担心成本和请求限制了。

傻瓜操作:GraphRAG、Ollama 本地部署及踩坑记录 这里按惯例介绍一下 GraphRAG (其实就是水字数,大部分是 GPT 写的)这是我踩的最大的坑,折腾了两个小时。原因是一些模型无法生成有效的 json 输出,将 settings.yaml 中的 model_supports_json 选项设为 false 仍然无法解决。后来改用 mistral 模型就很顺利。所以请注意你的模型。 阅读详情

相关推荐

GraphRAG:LLM之本地部署GraphRAG(GLM-4+Xinference的embedding模型)(附带ollma部署方式)

有空再写微软开源的GraphRAG默认是使用openai的接口的(GPT的接口那是要money的),于是就研究了如何使用开源模型本地部署。

weixin_44598554的博客 5418

一个快速、低成本、高效的Fast GraphRAG

一个为可解释、高精度、Agent驱动的检索工作流程设计的简化且可提示的快速GraphRAG框架。

2401_84494441的博客 928

使用 NTLite 来定制专属的官方 windows 镜像

移除掉不想要的一些自带的应用,比如 Xbox,office 啥的,这个就根据自己的实际需求来选择,备注基本都是有解释这个应用的作用。win 11 的右键展示不喜欢,更喜欢 win10 的,但是需要修改注册表,这里直接把下面的命令写到后期任务里面。NTLite 的自动保存会话功能会保留操作过的配置,是一个 xml 文件,可以在下次升级镜像版本的时候,导入配置。关闭 windows defender,不关会有这个提示,点是,就会跳到对应的界面。勾选创建 iso,配置 iso 镜像的名字,然后点开始。

以梦为马|越骑越傻 3334

Fast GraphRAG来袭!更快、更低成本、更高效,使用更简单,效果更好!

最近发现了一个名为GraphRAG的新开源项目,这个项目实际上是一个简化版的、易于理解的高精度Agent驱动检索框架——Fast-GraphRAG。使用Fast-GraphRAG只需要花费,相比原来的的0.48,节省了将近6倍的成本!并且随着数据大小和插入数量的增加,这种成本效益还会进一步提升。

m0_59235699的博客 1329

Materials Studio与LAMMPS联合作战:如何用msi2lmp.exe完美转换聚合物模型(含PCFF力场配置)

本文详细解析了如何利用msi2lmp.exe工具将Materials Studio中的聚合物模型高效、准确地转换为LAMMPS可识别的data文件,并重点配置PCFF力场。文章提供了从MS模型构建、文件导出到命令行转换、参数调整及转换后验证的全流程实战指南与避坑技巧,旨在帮助研究者解决模型转换中的常见问题,实现跨平台分子动力学模拟的无缝衔接。

weixin_29228781的博客 520

工厂自动化布线实战:从功率计算到线槽布局的完整避坑指南

本文详细介绍了工厂自动化布线的实战经验,从功率计算到线槽布局的完整避坑指南。通过三步计算法确定线径需求,强调电压降控制的重要性,并分享线槽布局的50%法则和强弱电分离技巧。特别针对移动设备和多芯信号线提供专业解决方案,帮助工程师避免常见错误,提升布线效率和质量。

weixin_29266007的博客 353

FastGraphRAG:高效、低成本的知识图谱检索框架

随着人工智能与大数据技术的不断发展,知识图谱作为连接信息和概念的强大工具,在智能问答、推荐系统、搜索引擎等领域的应用越来越广泛。为了更高效地从庞大的知识图谱中提取有用信息,检索技术的创新变得尤为重要。FastGraphRAG 作为一种新兴的知识图谱检索框架,通过结合检索增强生成(Retrieval-Augmented Generation, RAG)技术和PageRank 算法,实现了信息检索效率和准确性的显著提升,具有很高的应用价值。本文将全面分析 FastGraphRAG 的核心特点、功能与应用场景、技

simoncool23的博客 1972

【宠物识别系统】设计框架

能跑通的 Demo。收集 10,000 张同品种但不同个体的图片。训练ArcFace模型,验证准确率能否达到 99% 以上。搭建Milvus向量数据库。开发移动端 App/小程序。加入“图像质量检测”和“用户反馈纠错”功能。你是更偏向于做软件服务(如寻宠App、保险API),还是做软硬结合的产品(如智能喂食器)?这决定了我们下一步是深挖云端高并发架构,还是边缘端模型压缩。更偏向于软件,应用更广泛些,继续既然专注于纯软件/SaaS (Software as a Service) 方向。

百态·数智思维 | 聚焦大数据、量化与未来AI 1414

Fast-GraphRAG 查询参数详解:灵活控制知识图谱检索与生成

Fast-GraphRAG 是一个基于知识图谱的检索增强生成(RAG)框架,它将传统文档检索与知识图谱结构相结合,通过实体和关系的网络结构来增强大语言模型(LLM)的上下文理解能力。与普通RAG系统相比,Fast-GraphRAG 能够更好地处理复杂查询和推理任务。 ## 核心查询参数解析 在 Fast-GraphRAG 中,`QueryParam` 类提供了多种参数来控制查询行为,让开发者能

gitblog_00937的博客 520

AUTOSAR 导入DBC ISOLAR工程配置

ISOLAR工程配置-dbc导入

汽车电子电气 2407

【WorkBuddy专栏15】灵感被折叠到「更多」里,真的不重要了吗?——一个「被低估」功能的当下价值与未来演变

【WorkBuddy专栏15】灵感被折叠到「更多」里,真的不重要了吗?——一个「被低估」功能的当下价值与未来演变

AI人人懂 961

安装GraphRAG

GraphRAG是微软开源的一种基于图的检索增强生成 (RAG) 方法。# 参考地址# Github地址。

make_progress的博客 1915

17、超声散斑降噪与桌面系统背景估计技术

本文介绍了超声散斑降噪与桌面系统背景估计的先进技术。在超声成像方面,提出结合超分辨率(SR)和非线性扩散(ND)的方法,显著降低噪声并保留图像细节,在MSE和CNR指标上优于传统方法。在桌面交互系统中,针对传统背景估计因忽略设备像素结构导致的误差,提出基于显示器与相机像素结构建模的几何转换方法,有效减少尖锐边缘区域的误检,提升物体识别准确性。实验验证了两种方法的有效性,未来将致力于实时性优化与多设备兼容性扩展。

dream的博客 87

快速开始使用 Fast GraphRAG

Fast GraphRAG 是一个基于 Python 的框架,它为构建可解释、高精度、由代理驱动的检索工作流程而设计。以下是项目的目录结构及其简要介绍: ``` fast-graphrag/ ├── .github/ # GitHub 工作流和配置文件 ├── .vscode/ # VSCode 项目配置文件 ├── benchmarks/ ...

gitblog_00042的博客 921

ABAP RANGES及比较符号

RANGES *选项介绍: *1.SIGN 值为 I 和 E 。 I是包含, E是排除, 一般使用I。 2.OPTION 如果HIGH 为空 ,为单值选择 。有 EQ、NE、GT、LE、LT等逻辑操作 对于的 CP包含 NP是排除 如果HIGH 不为空 为区间选择 有BT,NB可选 *3.LOW 低值 *4.HIGH 高值 lt:less than 小于 le:less than or equal to 小于等于 eq:equal to 等于 ne:

Pegasus666的博客 5389

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

快速掌握 Fast GraphRAG:项目介绍与使用指南

Fast GraphRAG 是一个高效、可扩展的图基检索框架,旨在为高级检索工作流提供可解释、高精度的智能代理驱动功能。该项目通过利用个性化 PageRank 算法来探索图,并找到回答查询最相关的信息片段,特别适合于需要复杂信息检索的应用场景。 Fast GraphRAG 的特点包括: - **可解释性与调试性**:以图形化的方式展示知识,便于查询、可视化和更新。 - **高效低成本**:能够在

gitblog_01165的博客 804

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

如何5分钟上手Fast GraphRAG:从《圣诞颂歌》分析开始的完整教程

Fast GraphRAG是一款高效且可解释的图检索增强生成框架,专为构建高精度、智能驱动的检索工作流设计。它能帮助用户快速搭建基于知识图谱的问答系统,尤其适合处理结构化和半结构化数据的深度分析任务。无论是文学作品解析还是复杂文档理解,Fast GraphRAG都能提供直观且高效的解决方案。 ## 🌟 为什么选择Fast GraphRAG? Fast GraphRAG凭借四大核心优势脱颖而出

gitblog_00652的博客 848

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

fastRAG: 高效的检索增强生成框架

fastRAG是英特尔实验室开发的一个开源研究框架,旨在构建高效和优化的检索增强生成(RAG)管道。它集成了最先进的大语言模型(LLM)和信息检索技术,为研究人员和开发人员提供了一套全面的工具,用于推进RAG技术的发展。fastRAG的主要目标是提高RAG系统的计算效率和性能。它利用了多种优化技术,如量化、模型剪枝和蒸馏等,并针对英特尔硬件进行了特定优化,以在英特尔® Xeon® 处理器和英特尔® Gaudi® AI加速器上实现最佳性能。fastRAG为RAG技术的研究和应用提供了一个强大而灵活的框架。

Nifc666的博客 1350

RAG框架精选

高效的检索增强生成框架,用于自动化网络操作在CCF AIOps挑战赛中取得初赛第一名、半决赛第二名的佳绩。SPG(Semantic-enhanced Programmable Graph):语义增强可编程框架KAG 框架,主打专业领域知识增强服务,涵盖了符号推理、知识对齐等一系列创新点。

galileo2016的博客 856

Fast GraphRAG终极指南:5分钟快速部署智能知识检索系统

Fast GraphRAG 是一个革命性的智能检索增强生成框架,它通过知识图谱技术为文档检索带来前所未有的准确性和可解释性。本指南将带你从零开始,快速掌握这一强大工具的核心用法。 ## 项目核心优势 Fast GraphRAG 区别于传统检索系统的核心在于其智能自适应能力。系统能够根据你的具体使用场景、数据特征和查询需求,动态调整检索策略和知识图谱构建方式。 [![Fast GraphRAG

gitblog_00172的博客 846

微软开源GraphRAG的使用教程(最全,非常详细)

目前微软已经开源了GraphRAG的完整项目代码。对于某一些LLM的下游任务则可以使用GraphRAG去增强自己业务的RAG的表现。项目给出了两种使用方式: 1. 在打包好的项目状态下运行,可进行尝试使用。 2. 在源码基础上运行,适合为了下游任务的微调时使用。

科研探索ing!研究方向:人工智能及优化 5万+

如何提高 RAG 模型的性能

检索增强生成 (RAG) 模型(通常称为 RAG 系统)在 AI 行业中引起了广泛关注。这些模型背后的概念很简单:我们允许模型根据需要从单独的数据集中检索信息,而不是在大量数据上训练模型。这如何改善机器学习模型?首先,训练或微调大型语言模型 (LLM) 的过程极其昂贵、耗时且繁琐。它需要训练有素的机器学习和 AI 从业者。RAG 系统利用基础 LLM 并增强输入,使您的模型保持最新状态,同时仍然能够整合新数据。生成新数据时,可以几乎立即将其添加到检索数据库中。

2301_82275412的博客 882
上一篇: 使用GraphRAG+LangChain+Ollama:LLaMa 3.1跑通知识图谱与向量数据库集成(Neo4j)
下一篇: 全方位解析大模型Agent!大模型应用开发-动手做AI Agent (附pdf)
Llama-Turbo
博客等级 码龄4年 9901粉丝 2022原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值