技术狂潮AI-优快云博客

原创 Knowledge Graph Studio：让知识图谱构建更简单、更智能

是WhyHow.AI团队最近开源的一款专注于知识图谱构建和管理的创新工具平台。作为一个完整的知识图谱解决方案，它不仅提供了图谱构建的核心功能，更重要的是首次将 RAG（检索增强生成）的理念深度整合到知识图谱的构建过程中。这种创新的融合方式，让知识图谱的构建和应用有了更多可能性。与传统的知识图谱工具相比，Knowledge Graph Studio 的与众不同之处在于它的"RAG原生"设计理念。它不仅支持传统的三元组存储和查询，还能够保持文本块、实体和关系之间的紧密关联，确保了知识溯源的完整性。

2024-12-09 20:25:36 3011 1

原创 KV Cache量化技术详解：深入理解LLM推理性能优化

在探讨KV Cache 量化技术之前，我们先来深入理解LLM推理过程中的一个关键性能瓶颈。当前，在部署大语言模型时普遍面临着一个棘手的挑战：即便是配备16GB显存的GPU，在处理长文本时也经常会遇到OOM（Out of Memory）问题。这一问题的根源在于注意力机制的工作原理。在 Transformer 架构中，模型需要在推理过程中持续缓存注意力计算的中间状态（即Key和Value），这些状态被存储在KV Cache中。

2024-12-09 19:43:54 3670 1

原创为什么说 PydanticAI 是下一代 AI 开发框架？

对于长期从事 Python 开发的工程师来说，我相信许多人都曾被数据验证和类型转换的繁琐所困扰。当我们处理接口数据时，需要面对各种复杂的数据格式，稍有不慎，就可能引发难以察觉的 Bug。Pydantic是Python界赫赫有名的数据验证库，目前已经斩获了超过21.4k的star，而Pydantic作为基础类库，提供了强大的数据验证和序列化功能，基本上成为了Python项目开发中处理数据验证的标配，相信对于Pydantic类库应该大家都很熟知了。最初使用Pydantic的时候，就发现它的类型声明设计很优雅。

2024-12-04 12:39:03 2418

原创 LazyGraphRAG：微软研究院最新发布的新一代知识检索技术

LazyGraphRAG是一种革新性的图形增强检索方法，采用"延迟处理"策略，通过动态调整搜索范围和推迟LLM使用，实现了成本与性能的最优平衡。这种创新方法不仅降低了部署门槛，还显著提升了查询效率。

2024-11-28 11:23:24 225

原创 Agentic RAG: 构建自主决策型检索增强系统

在人工智能技术的发展历程中，Agentic RAG的出现标志着一个重要的里程碑。这一创新技术不仅仅是对传统RAG系统的升级，更代表着AI应用模式的根本性变革。通过引入多Agent协作机制，Agentic RAG从本质上重构了AI系统的信息处理方式，使其能够更贴近人类的决策思维模式。在实际应用中，Agentic RAG展现出了多维度的突破性优势。在知识管理层面，它突破了传统系统的局限，实现了知识的智能协同；在服务交互方面，将被动响应转变为主动理解；在专业技术领域，实现了知识的智能调用；

2024-11-27 08:51:40 921

原创 Tülu 3：重新定义开源大模型的后训练范式

Tülu 3 代表了当前开源大模型后训练的最高水平，它不仅是一个单一的模型，而是一个完整的模型家族。AI2发布的这个系列包含了两个主要版本：Tülu 3 8B和Tülu 3 70B，同时还预告了即将推出的405B版本。这种多规格的部署策略，让开发者可以根据实际需求和计算资源选择合适的模型版本。Tülu 3 的发布标志着开源模型后训练领域的一个重要里程碑。当Meta发布Llama 3.1报告时，AI2团队以其后训练模型为优化目标，不仅成功超越了Meta官方的指令版本性能，更开创性地将整个训练方案完全开源。

2024-11-25 20:42:08 1656

原创 RAG与微调：大模型落地的最佳路径选择（文末赠书）

自2022年底ChatGPT掀起AI革命以来，大语言模型（LLM）技术快速迭代发展，从GPT-4到Claude 2，从文心一言到通义千问，大模型技术以惊人的速度发展。然而，在企业实际应用场景中，在企业探索大模型技术落地的过程中，和成为了两大主要技术方案。到底应该如何有成本和预算可控的情况下，又能基于当前的技术成熟度和应用边界来选择和确定一套可行的大模型技术验证方案，成为技术决策者面临的重要课题。

2024-11-22 17:31:39 1282

原创揭秘大模型提升秘诀：RAG系统中的文本分块策略

LangChain 还预定义了其他编程语言（如 Go、C++、Java）等的分割符列表，方便用户快速定义新的文本切块类。如果需要处理未提供的文本格式，可以参照已有的类实现。自定义示例：创建一个用于切分 Java 代码的文本切块类。"\n\n", # 空行"\n", # 换行", # 语句结束" ", # 空格"" # 无分隔符text = "..." # 待处理的 Java 代码print(doc)通过自定义分割符列表和参数设置，可以灵活地适应不同格式文本的切分需求。

2024-10-25 10:58:32 1758

原创解锁高效学习新姿势，包阅AI助你一臂之力！

包阅AI 的核心竞争力在于其强大的内容解析和知识还原能力。实现高质量的摘要总结是 RAG 技术落地的关键挑战之一，而这恰恰是包阅AI的强项。它能够精准解析多种复杂且多样化的文档格式，包括PDF、Word、PPT、图片、网页链接甚至视频音频等，无论内容结构多么复杂、排版多么混乱，包阅AI 都能准确识别并提取关键信息，快速还原文档的核心知识，避免了信息偏差带来的误导，为后续的摘要总结、问答对话等功能打下坚实的基础。

2024-10-24 11:09:53 908

原创 LangChain 实战：零基础打造你的专属 AI 智能体

随着人工智能技术的飞速发展，大语言模型（LLMs）如GPT系列已成为推动AI应用创新的重要力量。然而，面对复杂的实际应用场景，单一的 LLM 往往力不从心。LangChain 作为一个强大的开源框架应运而生，它为开发者提供了一套灵活的工具和接口，即使不具备深厚的技术背景，也能轻松构建出满足特定需求的 AI 智能体。本文将深入探讨 LangChain 如何整合开源大语言模型，构建能够应对多样化应用场景的智能体。LangChain 是一个开源框架，致力于简化基于语言模型的端到端应用程序开发。它提供了一系列工具、

2024-09-26 16:39:28 1896 1

原创超越代码：在 AI 浪潮中如何让软件工程师的价值持续增长？

显性知识可以告诉我们如何调用语音识别API、如何控制智能设备接口，但如何设计更人性化的语音交互流程、如何根据用户的使用习惯进行个性化推荐、如何保障用户的数据安全和隐私，这些都需要程序员在大量的实践中不断摸索、总结，最终形成自己独特的“know-how”。面对 AI 带来的挑战，程序员需要不断学习新的技术，更要注重积累实践经验，培养自己的洞察力和判断力，积极探索新的知识管理模式，构建一个鼓励学习、分享和创新的团队文化，才能在与 AI 的协作中发挥更大的价值，在 AI 时代继续保持竞争力。

2024-08-20 17:53:14 1275

原创 Denser Retriever: RAG中更强大的AI检索器，让您10 分钟内构建聊天机器人应用

是一个企业级的RAG检索器，将多种搜索技术整合到一个平台中。在MTEB数据集上的实验表明，Denser Retriever可以显著提升向量搜索（VS）的基线（snowflake-arctic-embed-m模型, 在MTEB/BEIR排行榜达到了最先进的性能）。它来自Denser.ai公司，创始人是黄志恒，曾担任 AWS 首席科学家，领导过 Amazon Kendra 和 Amazon Business Q 项目，截至 2024 年7 月，他的谷歌学术被引用次数超过 13,700 次。

2024-08-12 10:13:14 1345

原创 RAGFlow v0.9 重磅升级，支持 GraphRAG，开启下一代 RAG 之旅！

RAGFlow v0.9 的发布，标志着知识图谱增强型 RAG 系统 (RAG 2.0) 的全新时代正式开启。GraphRAG 作为其中的先行者，展现了 LLM 驱动下的知识图谱构建技术所蕴含的巨大潜力。它不仅为 RAG 系统注入了更强大的语义理解和知识推理能力，也为智能问答、语义搜索、知识发现等领域的应用打开了新的大门。GraphRAG 之所以能够取得成功，很大程度上得益于它对传统知识图谱构建流程的简化，使其更容易在实际工程中落地。

2024-08-09 16:29:55 3009

原创 MindSearch：AI 时代的“思考型”搜索引擎

MindSearch 是一款极具潜力的开源 AI 搜索引擎，它模拟了人类的思维过程，实现了深度知识探索，为用户带来了更精准、更全面的搜索体验。相信在未来，MindSearch 将会在 AI 搜索领域发挥更大的作用，引领搜索引擎进入一个全新的智能化时代。

2024-08-07 22:42:03 2964

原创 Gemini Pro 加持，谷歌 AI 笔记 Notebook LM 重磅升级！

整体对比下来，真正让我觉得有一定帮助的，感觉还不错的就是 Google 发布的 Gemini Pro，经过一年时间的锤炼，相比较去年推出的 Bard、PaLM 2能力确实提升很大，在某些方面一度超越了 GPT-4o，除了 Pro 版本还有 Flash 版本，虽然 Flash 对标 GPT-4o-mini 主打快速响应，但我感觉这两个模型输出的结果质量还是有比较大的差异，这半年多我主要还是使用。同时还根据你的笔记内容，自动生成一系列的问题，提供你更深入地理解和反思，有助于使用者的学习和研究。

2024-08-04 21:11:03 1783

原创 Speckly：基于Speckle文档的RAG智能问答机器人

首先，我们定义一个 GraphState 类来表示图的状态，该状态包含三个关键属性：input、generation 和 documents。其中，input 属性存储用户输入的问题，generation 属性存储大语言模型根据输入生成的答案，documents 属性存储相关文档列表。"""表示图的状态。question: 问题generation: LLM 生成documents: 文档列表"""input: str。

2024-07-31 13:40:19 1029

原创 Graph RAG：知识图谱赋能大语言模型的新范式

从依赖自身“记忆”到学会“查资料”，再到拥有“知识地图”，Graph RAG 的出现，标志着 AI 问答技术进入了一个全新的阶段。传统的 RAG 技术虽然能够为 LLM 提供更丰富的知识来源，但它就像一个只会“照本宣科”的学生，缺乏对知识的真正理解。而 Graph RAG 则赋予了 AI 更强大的推理能力和逻辑思维能力，让 AI 能够像人类一样理解世界、解决问题。当然，Graph RAG 也并非完美无缺。它的性能很大程度上取决于知识图谱的质量和覆盖范围。

2024-07-31 13:28:17 1974 1

原创 Dify 零代码 AI 应用开发：快速入门与实战

Dify 支持 OpenAI 的 GPT 系列和 Anthropic 的 Claude 系列等主要模型提供商。每个模型的功能和参数各不相同，请选择适合您应用程序需求的模型提供商。您需要在使用模型提供商的 API 密钥之前，从模型提供商的官方网站获取。以下以 OpenAI 的 API 密钥为例进行说明。使用 API 密钥可以使用更多模型。如果您需要集成开源模型，Dify 也支持。例如，您可以通过 Hugging Face 或 Ollama 集成开源模型。

2024-07-27 06:00:00 8060

原创颠覆认知！LLM评估原来可以这么简单

生成式 AI (Generative AI) 和大语言模型 (LLM)，例如 GPT-4、Llama 和 Claude，已经开启了 AI 驱动应用和用例的新时代。然而，评估 LLM 通常需要用到许多复杂的库和方法，这容易让人望而却步。实际上，LLM 评估并不一定复杂。你不需要复杂的管道、数据库或基础架构组件就可以构建有效的评估管道。Discord 就提供了一个很好的例子：他们为 2000 万用户构建了一个聊天机器人，并专注于实施易于运行和快速实施的评估方法。

2024-07-26 08:45:00 963

原创如何使用 DSPy 构建多步骤推理的 RAG 系统

检索增强生成 (RAG) 系统已经成为构建基于大语言模型 (LLM) 应用的强大方法。RAG 系统的工作原理是：首先使用检索模型从外部知识源检索相关信息，然后使用这些信息来提示 LLM 生成最终的响应。然而，基本的 RAG 系统（也称为朴素 RAG）在处理需要对多条信息进行推理的复杂查询时可能会遇到挑战。多步骤检索的出现正是为了解决这一问题。在多步骤检索中，系统会跨多个步骤或“跳跃”收集信息，以回答复杂的问题或收集详细信息。这种技术在高级问答系统中很常见，其中多个来源或文档包含回答问题所需的信息。构建多步骤

2024-07-25 14:00:05 1213 2

原创 LightRAG：高效构建和优化大型语言模型应用的 PyTorch 框架

LightRAG是一个开源的 PyTorch 库，专为简化检索器-代理-生成器 (RAG)管道的构建和优化而设计。它提供了一个轻量级、模块化且高度可读的框架，使开发者能够轻松地创建和定制强大的大语言模型应用程序。LightRAG 框架的核心特点：LightRAG 将 RAG 管道分解为三个核心组件：检索器、代理和生成器。每个组件都设计为独立且可插拔的模块，开发者可以根据需求轻松地替换、修改或扩展。

2024-07-12 08:54:27 2743 1

原创 LongRAG：利用长上下文大语言模型提升检索生成效果

LongRAG 框架创新性地解决了传统检索增强生成（RAG）框架中检索器负担过重的问题，通过引入“长检索单元”、“长检索器”和“长阅读器”，将完整的维基百科文章处理成 4K Token 的单元，将语料库大小缩减了 97% 以上，从而显著提升了检索效率和整体性能。LongRAG 的优势主要体现在：在 NQ 和 HotpotQA 数据集上，LongRAG 无需复杂排序机制即可分别实现 71% 的 Recall@1 和 72% 的 Recall@2，远超传统的短文本检索方法。

2024-06-26 10:44:52 2231

原创 Cognita：一款面向生产环境的开源、模块化 RAG 框架

Cognita 是一个开源、模块化的应用程序，它被设计用于生产环境，并且结合了信息检索增强生成（Retrieval-Augmented Generation，简称 RAG）技术。RAG 是一种人工智能技术，它通过结合检索（检索相关信息）和生成（生成新内容）的方式来增强模型的性能。Cognita 的设计目标是在完全定制化和适应性之间取得平衡，同时确保用户友好性。它考虑到了 RAG 和 AI 技术的快速发展，因此在设计时注重了可扩展性，以便能够无缝集成新的技术突破和不同的应用场景。

2024-06-04 07:23:50 1640 1

原创 RAG 高级应用：基于 Nougat、HTML 转换与 GPT-4o 解析复杂 PDF 内嵌表格

RAG（检索增强生成）应用最具挑战性的方面之一是如何处理复杂文档的内容，例如 PDF 文档中的图像和表格，因为这些内容不像传统文本那样容易解析和检索。前面我们有介绍过如何使用LlamaIndex提供的LlamaParse技术解析复杂PDF文档（文档中包含图片和表格）LlamaParse 技术整体来看，对于PDF文档常规文本的提取还是比较准确的，但对于表格内容的处理，检索准确率依然还存在比较大的空间。

2024-05-29 21:53:45 2708 1

原创零门槛微调大模型：基于 Ludwig 低代码框架使用 LoRA 技术微调实践

Ludwig 就像一位武功高强的引路人，为你打开了 AI 世界的大门。它简单易用，功能强大，即使是初学者也能轻松上手。Ludwig 的低代码框架为将大语言模型 (LLM) 微调至特定任务提供了一种高效便捷的途径，它在易用性和强大的自定义能力之间取得了良好的平衡。通过利用 Ludwig 全面的模型开发、训练和评估功能，开发人员可以构建出针对特定用例量身定制的强大且高性能的 AI 模型，以满足各种现实世界应用场景的需求。以下是 Ludwig 的核心优势：低代码。

2024-05-23 21:27:18 1837 1

原创高级RAG检索中的五种查询重写策略

本文深入探讨了 RAG（Retrieval-Augmented Generation）检索策略中的高级查询重写技术。其中重点介绍了子问题查询、HyDE 查询转换、Query2doc、回溯提示和迭代检索生成等五种查询重写策略。这些策略的目的是通过重新构造查询来更准确地定位相关信息，从而提高 RAG 系统的检索效率和答案的精确度。通过 LlamaIndex 提供的代码示例，文章展示了如何实现这些策略，并分享了一些实用技巧。在实际应用中，选择合适的查询重写方法需要根据具体问题和性能要求来权衡。

2024-05-22 08:58:56 6572

原创 Vanna AI：告别代码，用自然语言轻松查询数据库，领先的RAG2SQL技术让结果更智能、更精准！

Vanna，是一款革命性的AI SQL智能体，可以将复杂的SQL查询简化为日常语义对话。在生成式AI的助力下，Vanna 让数据库查询变得前所未有的简单和直观。它是基于 OpenAI 和 Google 提供的大语言模型（LLM）。Vanna 通过预训练模型，结合你的数据库进行微调，可以快速帮你量身打造一个定制化的AI助手。Vanna 是一个获得 MIT 许可的开源 Python RAG（检索增强生成）框架，用于 SQL 生成和相关功能。GitHub 已经高达7200 颗星。

2024-05-21 00:02:28 10541

原创 InternVL 1.5：开源多模态大模型的“黑马”，性能比肩GPT-4V！（开源免费｜可商用）

InternVL 1.5 是一款开源的多模态大型语言模型，它在处理高分辨率图像和支持多语言方面取得了显著进展。该模型通过强大的视觉编码器和动态分辨率适配技术，以及整合全面的双语数据集，缩小了与商业模型之间的性能差距。在 OCR 相关任务和双语场景理解中，InternVL 1.5 展现了其增强后的能力，成为了先进人工智能系统中的有力竞争者。

2024-05-18 22:31:06 5424

原创 OpenAI 推出 GPT-4o：实现多模态 AI 交互

OpenAI 的 GPT-4o 是 AI 技术变革性的进步，它将文本、音频和视觉整合成一个协调且反应灵敏的模型。这一进展预示着 AI 交互将变得更加自然、吸引人且易于接触，为多模态 AI 系统设定了新的标杆。随着 GPT-4o 向用户和开发者的推广，它对 AI 应用和用户体验的影响将是深远和广泛的。

2024-05-14 16:45:46 2606 2

原创 spRAG：一个处理密集非结构化文本复杂检索的 RAG 框架

近年来，随着自然语言处理和信息检索技术的不断发展，RAG（Retrieval-Augmented Generation）模型受到了越来越多的关注。RAG模型通过将知识检索与语言生成相结合，展现出了在处理复杂查询任务方面的巨大潜力。spRAG 是由 SuperpoweredAI 团队开发的一个专门用于处理密集非结构化文本数据的RAG框架，特别适用于处理复杂查询，如财务报告、法律文件和学术论文等。与传统的RAG模型相比，spRAG 在处理复杂查询任务方面表现出了显著的优势。

2024-05-06 16:53:46 1673 1

原创新手入门：大语言模型训练指南

本文是一份全面的新手指南，旨在指导初学者如何有效地培训大型语言模型（LLM）。文章首先介绍了Transformer架构的基础知识，这是现代LLMs的核心。接着，它深入探讨了预训练和微调的概念，强调了这些步骤在模型开发中的重要性。文章还详细讨论了低阶适应（LoRA）技术，这是一种新兴的高效训练方法，可以显著降低大型模型训练的计算和内存成本。此外，指南涵盖了关键的超参数调整，如批量大小、学习率和梯度累积，这些对于优化模型性能至关重要。

2024-04-11 23:54:03 5142 1

原创 RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

在对 RAGFlow 的探索中，我们可以清晰地看到其在RAG（Retrieval-Augmented Generation）领域中的重要地位和显著优势。RAGFlow作为一款下一代开源RAG引擎，不仅在问答对话方面表现出色，还具备高级内容生成的能力，例如长文生成等。这使得RAGFlow能够为用户提供更为全面和深入的服务，满足不同场景下的需求，尤其在企业级应用中发挥着重要作用。

2024-04-09 13:41:42 39226 1

原创 RankLLM：RAG架构下通过重排序实现精准信息检索

RankLLM是一种基于大型语言模型（Large Language Models, LLMs）的重排序方法，它利用了LLM的强大能力来改进信息检索的结果。在信息检索的过程中，初步检索阶段可能会返回大量相关或不相关的文档，RankLLM 的作用是在这些文档中进行再次排序，以提高检索结果的相关性和准确性。RankLLM通过使用LLM作为“提示-解码器”（prompt-decoder），在没有特定任务训练数据的情况下（即零样本设置），对文档列表进行重新排序，优化诸如归一化折扣累积增益（nDCG）等检索指标。

2024-04-03 19:20:13 1806

原创特定领域 RAG 新突破：LlamaPack 实现 RAFT 论文方法

RAFT 和 LlamaIndex 的协同作用是特定领域自然语言处理领域的一次重大进步。通过利用检索文档的力量，RAFT 使 LLM 能够轻松、准确地处理复杂的信息。随着我们将专业知识整合到 LLM 中的探索不断深入，RAFT 将指引我们走向人工智能真正理解和适应人类语言和语境复杂性的未来。

2024-04-03 19:17:30 1530

原创 Databricks 开源 DBRX：一款功能强大的新型企业级语言模型

从今天开始，Databricks 客户可以通过 API 使用 DBRX，并使用 Databricks 提供的工具和技术，从头开始预训练自己的 DBRX 级模型，或者在我们提供的检查点之上继续训练模型。Databricks 使用高达 32K 词元上下文窗口训练 DBRX，并完全在其平台上构建 DBRX，使用了 Unity Catalog 进行数据治理、Apache Spark™ 和 Lilac AI 进行数据处理和清理，以及 Mosaic AI 训练服务进行大规模模型训练和微调等工具。

2024-03-29 17:58:48 1804

原创 Jamba：AI21 实验室发布首个应用级的 Mamba 架构 AI 模型

AI21 实验室发布了，这是全球首个基于架构的、可用于实际应用的 AI 模型。目前大多数模型（例如 GPT、Gemini 和 Llama）都基于架构。Jamba 结合了 Mamba 结构化状态空间模型 (SSM) 和传统 Transformer 架构的优点，实现了性能和效率的显著提升。Jamba 拥有 256K 个 Token 的超长文本处理能力，相当于大约 210 页文本，同时可在单个 80GB 的 GPU 上容纳 140K 个 token。这一突破得益于其。

2024-03-29 17:54:36 1518

原创 RelayAttention：让大型语言模型更高效地处理长提示符

虽然大型语言模型 (LLM) 近年来取得了非常显著的进展，也在各种自然语言处理任务中展现出强大的能力。然而，LLM 的在实际的应用落地层面也面临着一些实际挑战，其中之一就是效率和成本问题，导致了在垂直行业实际落地的应用非常少。因为现有的 LLM 通常需要大量的计算资源和内存，这限制了它们在实际应用中的部署。特别是在处理长文本输入时，LLM 的效率问题尤为突出。这是因为 LLM 需要存储和处理大量的中间结果，而长文本输入会导致中间结果的数量急剧增加。

2024-03-26 12:43:06 1450

原创 RAFT：让大型语言模型更擅长特定领域的 RAG 任务

生成式 AI 对企业最具影响力的应用之一是创建能够访问已有知识库的自然语言接口，换句话说，它能够针对银行、法律和医学等特定领域提供问题解答。

2024-03-25 19:25:39 2718

原创 Python 的 GIL 时代即将终结，迈向真正的多线程时代

那么，GIL 究竟是什么呢？GIL，即全局解释器锁，虽然不是 Python 特有的，但它是在 CPython 解释器的开发过程中引入的一个概念。简单来说，GIL 就像是一个保护机制，确保在任何时刻只有一个线程能够执行 Python 代码，以维护代码的线程安全。但 GIL 也有它的不足之处它限制了 Python 在多核 CPU 上的并行处理能力，因为不论有多少个线程，一次只能在一个核心上运行，这大大降低了程序的运行效率。

2024-03-23 01:00:43 1359

原创 LlamaParse：RAG中高效解析复杂PDF的最佳选择

LlamaParse是由 LlamaIndex 创建的一项技术，专门用于高效地解析和表示PDF文件，以便通过 LlamaIndex 框架进行高效检索和上下文增强，特别适用于复杂的PDF文档。它基于RAG（Rule-based Approach with Grammar）技术，能够准确地提取文本、图像、表格等元素，同时保持良好的性能。这项技术的设计初衷是为了处理那些包含嵌入式对象（如表格和图形）的复杂文档，这类文档的处理在以往往往是个挑战。

2024-03-22 17:01:10 6004 4