- 博客(41)
- 收藏
- 关注
RSS订阅原创 LazyLLM教程 | 第16讲：实战：打造具备宏观问答与图表生成功能的论文问答的RAG系统
（代码GitHub链接🔗：https://github.com/LazyAGI/Tutorial/blob/7abc91dbb82a007a78731845dd8c360ac0cc1e75/rag/codes/chapter16/statistical_agent.py#L1）
2025-11-24 11:53:51
398
原创 LazyLLM教程 | 第15讲：大视角问答：RAG如何支持跨文档、跨维度总结
统计问题其实就是与数据有关的各种问题，目的是从数据中找到有用的信息，帮助我们做决策或理解某些现象。比如现在有班级的考试成绩，问班级学生的考试成绩总体如何？平均分是多少？哪个科目最难？又或者有相关的销售数据，本月我们的销售额是多少？产品A的销售量是否有所增长？介绍完统计的基本概念，让我们仔细思考下。
2025-11-17 14:05:13
749
原创 LazyLLM教程 | 第14讲：实战：构建一个支持复杂学术论文问答的RAG系统
接下来就是工作流的搭建了，在 pipeline 中，依次定义了 Retriever、Reranker、formatter 和 LLM，分别用于检索召回相关文档、对召回文档信息进行重排序、对重排序后的 node 和 query 进行格式化，最后把检索到的内容输入给 LLM 来生成相应的答案回复。当提问的 query 来到之后先经过 embedding 模型，生成对应的 embedding 向量，然后使用这个 quey 和对应的 embedding 在数据库中进行检索，检索出相关的文本段出来，用于后面的处理。
2025-11-11 11:51:29
755
原创 LazyLLM教程 | 第13讲：RAG+多模态：图片、表格通吃的问答系统
通过共享的向量空间，文本和图像可以在相同的语义空间中进行比较和排序，从而提高多模态检索和生成的效率和准确性。然而，利用视觉多模态大模型对其进行嵌入和检索的相关方法有DSE、ColPali，M3DocRAG等，下文以ColPali为例，讲解与基于文档解析的方法之间的不同之处（图源ColPali论文）。因此，为了让普通 RAG 在更多真实场景下保持高效、智能的表现，我们亟需引入多模态能力，结合 OCR、图像理解等技术，让模型具备“读图识意” 的能力，从而真正实现对多模态信息的智能问答与生成。
2025-11-03 15:25:45
760
原创 LazyLLM x MemU：20 行代码打造有长记忆的知识问答助手
在开发知识问答助手的过程中，常见的挑战之一就是如何让智能体。很多应用在实现多轮问答时，会遇到信息丢失或上下文混乱的问题：用户提过的问题、提供的数据、甚至助手之前的回答都无法被系统持续记忆，导致体验断层。对于企业级知识库或面向用户的个人助手来说，这种缺失不仅影响回答的准确性，也使得智能体难以形成长期价值。构建一个能够记忆的问答系统，并非简单地将对话记录写入数据库。智能体需要对历史信息进行结构化存储、动态检索，并在生成回答时合理利用这些信息。
2025-11-03 10:33:52
192
原创 LazyLLM教程 | 第12讲：实践：用缓存、异步与向量引擎加速你的RAG
如果您的电脑上安装了Python，请通过下方命令安装lazyllm及必要的依赖包。关于 LazyLLM 的环境更详细的准备可以参考第二讲中对应的内容。成功安装LazyLLM后，我们进行如下组件的定义：大模型llm、向量模型embedding_model、重排模型rerank_model，这些组件在下面的实践过程当中会经常用到，该部分预先定义后，后面将不再重复定义。对于GPU资源较紧张的开发者，推荐您全程使用线上模型，以快速上手开发，降低使用门槛。线上模型的创建如下#L31。
2025-10-27 14:38:46
686
原创 LazyLLM教程 | 第11讲：性能优化指南：从冷启动到响应加速你的RAG
在前面的课程中我们从检索和生成两个角度学习了多种提升 RAG（Retrieval-Augmented Generation）系统效果的策略和相关评测方法。为了获得更好的检索召回效果，我们介绍了通过多个子查询、多个节点组、多个检索器进行检索，同时引入了重排序模型。虽然我们成功提升了系统的召回效果，但更多环节及模型的引入也增加了许多计算和推理成本，系统的整体执行时间随之增加。在实际应用中，除了系统效果，我们同样需要关注系统的执行效率，即系统是否能够快速响应用户请求，以及是否能够快速实现文档和算法的迭代。本篇教程
2025-10-21 11:20:43
881
原创 技术拆解 | 表格解析（下）：从数据准备到模型训练的全流程实战详解
构建一个适用于表格解析的合成数据框架，需高度模拟真实表格的视觉布局与语义内容，包括表格线、单元格结构、文本元素及其空间逻辑关系。：使用高质量、高难度的业务数据（如特定行业的复杂报表），精细调整模型参数，提升其在特定场景下的解析精度。：要求覆盖不同行业领域（财务、医疗等）以及各种复杂度的表格类型，从基础表格到包含多层表头、多级合并单元格的复杂结构表格，以确保模型训练的全面性。在真实数据稀缺的场景下，数据合成技术通过生成高质量的仿真样本，能有效突破训练数据规模的瓶颈，为模型提供更充分的学习材料。
2025-10-15 15:30:33
713
原创 LazyLLM教程 | 第10讲：探索Deepseek：打造思维能力更强的RAG系统
每个问题都附有自然语言形式的答案，这些答案不仅提供了最终的结果，还详细解释了解题的步骤和过程。我们使用DeepSeek-R1来对小模型进行蒸馏，其过程大致如下图所示：首先我们选取 GSM8K 数据集，使用其训练集中的题目来不断喂给DeepSeek-R1来获得用于训练的问答对，在获得蒸馏训练集后为了查看思维链在其中的效果，我们还单独剔除了数据集中的思维链来作为另外一个训练集，基于这两个训练集分别微调出两个小模型，最后我们对微调后的两个小模型、DeepSeek-R1以及微调前的小模型进行评测以查看提升效果。
2025-10-14 11:40:36
909
原创 技术拆解 | 表格解析（上）：企业数字化与AI应用流程中的重要基础支撑
最后的匹配阶段，将前几步的输出（结构信息和内容信息），根据物理位置关系进行精准匹配与对齐，对应到统一的HTML的语义标签上，最终生成一个完整的HTML表格字符串。下图为表格的HTML表示（左边）以及对应的图片显示（右边），比如<td></td>表示单元格，colspan="2"表示合并单元格等，表格解析即是将图片解析为对应的HTML表达的过程。：表格作为人类高效组织数据的一种方式，数据质量高、知识密度大，表格解析后的数据可用于人工智能的模型训练和测试，是构成大数据时代数据养料的关键一环。
2025-10-10 14:28:50
852
原创 产品上线 | 商汤自研智能文档解析工具UniParse，重新定义文档处理！
适用于各类型文档解析（如财报研报、合同标书、期刊论文等），支持 PDF、扫描件、手机拍摄件等多种格式，自动识别文本结构、公式、表格、图像等内容，精准还原文档信息，助力企业与个人实现文档数字化归档、内容检索与风险管理。适用于各类型票证解析（如发票、车票、运单等），智能提取并结构化展示票证核心信息，助力数据高效归集与核对，加速业务流程自动化，辅助智能决策。对于保险理赔申请，文档解析可准确提取理赔材料中的关键信息，如事故类型、损失程度、保险责任等，加快理赔处理速度。
2025-10-10 14:11:41
317
原创 案例分享 | 不再隔空炫技，走向实用主义！商汤大装置破局大模型落地新范式
LazyLLM 团队基于各专业的语料特性，设计专属文档处理 Pipeline，将自定义切片策略（Transform）与节点分组策略（Node Group）以可插拔方式嵌入，兼顾跨专业的一致性与专业内的个性化。，商汤大装置为勘察设计人员打造了国铁勘察设计知识检索、知识问答、文本生成、文档审核以及多模态对话等功能，减轻报告撰写工作量，提高审核效率与质量，助力勘察设计工作。日常工作并不只需要问答。，算法可按模态自适应选择合适的嵌入模型，提升特征表征多样性，显著拓展多模态知识的可检索覆盖面。
2025-09-23 11:21:56
834
原创 LazyLLM教程 | 第9讲：微调实践：让大模型和向量模型更懂你的领域
RAG需要的知识库往往对用户来说具有隐私性，用户更希望能在本地部署，这意味着要同时部署本地的大模型，而本地部署大模型又需要算力支持，一般用户很难有较强的算力，此时在算力资源下往往只能选择一些较小的LLM模型，比如7B大小的模型，而这些较小的LLM基本能力上无法和600多B的LLM相比，此时模型的能力也就较弱。前面教程中，我们通过优化检索策略、召回重排略以及基于大模型的查询重写策略来提升了RAG系统的检索精度，但最终回复的结果还需要经过大模型的融合和处理，模型能力的强弱直接影响到最终的结果。
2025-09-15 17:40:48
635
原创 LazyLLM教程 | 第8讲：不止是cosine！匹配策略决定你召回的质量
它们是用来做后处理的。输出结果符合预期，因为 LazyLLM 是支持多 embedding 的，所以前面的 key 表示的是哪类 embedding，然后 tuple 里面的第一项 Node 表示的是哪个节点和 query 进行计算的，第二项表示的是相似度分数。可以从输出的结果中看到检索出来的文本和请求的query几乎完全没关系，因为我们使用的相似度计算方法是欧氏距离，距离越近说明文本越相似，由于是降序排列，所以 top3 对应的是距离最大的三段文本，那这三段文本和query不相似是符合预期的。
2025-09-09 11:46:49
1094
原创 LazyLLM教程 | 第7讲：检索升级实践：亲手打造“更聪明”的文档理解系统！
如果自定义的 Transform 算法很复杂的话，这时候一个 function 就不能简单的解决了。这时候就可以使用基于 class 的方式进行定义。首先定义的类要继承自基类，然后重写基类的transform方法即可。这里需要注意的是，因为是继承自基类，所以transform函数的入参只能是 Node 类型，而不能是str类型，但是它的出参可以是List[str]类型，也可以是List[Node]类型。这里我们简单定义一个以 '\n\n' 为分隔符的 Transform 算法。
2025-09-02 14:49:51
676
原创 LazyLLM教程 | 第6讲：检索更准：RAG召回效果优化的底层逻辑与技巧
从前面的课程中我们知道了 RAG（Retrieval-Augmented Generation）系统是一种结合检索和生成两个核心组件实现基于外部知识源回答用户查询的智能系统，可以在一定程度上克服大模型幻觉问题在特定领域问答任务上给出与上下文相关的答案。RAG 的基本思想是先通过检索模块从大量文档中找到与用户问题相关的上下文，然后将这些信息提供给生成模型，以生成更加精准和可靠的答案。尽管 RAG 系统的基础架构较为清晰，并且已有许多工具和框架可以帮助开发者快速搭建，但要真正实现高精度、高效率的输出仍然充满挑战
2025-08-26 10:48:50
1164
原创 LazyLLM教程 | 第5讲：打造专属Reader组件：轻松解析HTML、PDF等复杂文档格式
前面我们已经知道当 query 来了之后要先经过 Retriever 模块，然后输出检索到的相关文本片段。那么这里就有了一个问题，Retriever 模块检索到的这些文本片段是从哪里来的呢？这里就不得不提到我们将要介绍的 Reader 模块了~我们都知道 Retriever 是需要从知识库中检索和问题相关的信息，而知识库中的内容会是各种各样的，有结构化存储的，也有非结构化存储的。为了让 Retriever 中的检索模块和知识库中知识的存储格式解耦，就需要 Reader 模块来大显身手了。
2025-08-18 15:14:30
718
原创 LazyLLM教程 | 第4讲：RAG项目工程化入门：从脚本走向模块化与可维护性
Git是一个分布式版本控制系统，用于跟踪文件的更改，特别适用于软件开发。它允许多个开发者协作开发代码，同时保留所有更改的历史记录。详述。
2025-08-14 11:10:31
636
1
原创 LazyLLM教程 | 第3讲：大模型怎么玩：用LazyLLM带你理解调用逻辑与Prompt魔法！
LazyLLM是一款以数据流（Data Flow）为核心的多Agent大模型应用开发框架，所以 LazyLLM 中定义了大量的数据流组件，配合 LazyLLM 中提供的工具和组件，可以让您像搭积木一样搭建复杂的大模型应用。数据流的核心设计思路是无需您手动对数据流动进行指定，而是通过数据流内部将上一阶段的数据直接分发给对应的下游接收组件。LazyLLM支持Pipeline、Parallel、Switch、If、Loop、Diverter、Warp、Graph等数据流。
2025-08-06 15:25:41
875
原创 LazyLLM教程 | 第2讲：10分钟上手一个最小可用RAG系统
CMRC 2018（Chinese Machine Reading Comprehension 2018）[1] 数据集是一个中文阅读理解数据集，用于中文机器阅读理解的跨度提取数据集，以增加该领域的语言多样性。数据集由人类专家在维基百科段落上注释的近20,000个真实问题组成。旨在推动中文机器阅读理解（MRC）任务的发展。其数据集的基本格式如下图所示：
2025-07-30 19:40:46
810
原创 【LazyLLM全面教程（图文版）】新系列来袭！今天学，明天别人追着喊你大佬！
是构建和优化多 Agent 应用的一站式开发工具，为基于LLM的应用开发过程中全部环节(包括应用搭建、数据准备、模型部署、模型微调、评测等)提供了完整解决方案。为了帮助你快速上手和深入了解 LazyLLM 的各项功能，本喵贴心的为你准备了。灵活的算法策略配置及统一的接口调用体验，协助开发者以极低成本构建 AI 应用，落地端到端产品，持续优化产品效果。统一市面诸多大模型调用接口，基模型自由切换，为用户提供一致的使用体验。精细化模块设计，符合直觉的代码风格帮你集中精力，打造爆款产品。
2025-07-22 10:30:19
577
原创 懒懒笔记 | 课代表带你梳理【RAG课程 19：基于知识图谱的RAG】
（Community Summaries）的生成环节。这一策略使得系统在检索时只关注与查询高度相关的社区，而不是检索整个图。社区摘要对数据全局结构和语义的高度概括, 即使没有问题, 用户也可以通过浏览不同层次的社区摘要来理解语料库！😮。
2025-07-07 14:55:47
987
原创 懒懒笔记 | 课代表带你梳理【RAG课程 17&18：企业级安全 + 多智能体协同，打造可控、智能的RAG系统】
LLM（大脑）：负责理解任务、输出策略；Memory（记忆）：记录历史对话与任务上下文；Planning（计划）：能分解任务、灵活调整执行路径；Tools（工具）：调用各类 API、函数、外部数据源达成任务目标。在企业级应用中，这种Agent能力意味着你不需要写死流程，而是构建一个“会干活的员工”。
2025-06-30 17:54:06
912
原创 懒懒笔记 | 课代表带你梳理【RAG课程 15&16：从多文档总结到图表生成的论文问答系统打造】
Text2SQL 是一种自然语言处理（NLP）技术，核心任务就是把用户用“人话”问的问题 ➡️ 自动转成能在数据库执行的 SQL 查询语句。工作流程如下图所示：是不是瞬间高大上了？😉从第15讲的理论铺垫，到第16讲的实战落地，我们一步步带你从传统RAG跃升至智能数据助手。RAG系统不再是“只会读文本”的工具，而是一个：✅ 会理解意图✅ 能查结构化数据库✅ 会写SQL✅ 能做统计分析、还能画图！下次遇到数据分析类问题，不如试试你自己搭的RAG智能体吧～
2025-06-23 11:16:37
856
原创 懒懒笔记 | 课代表带你梳理【RAG课程 13&14：多模态突围与综合论文问答系统实战】
🙋♀️ “PDF 里的图表，怎么总像谜语人？🙋♂️ “论文里密密麻麻的公式，是让人看，还是让人头疼？别急，
2025-06-19 15:14:44
889
原创 懒懒笔记 | 课代表带你梳理【RAG课程 11&12：优化和加速你的RAG】
我们可以把索引想象成一本书的目录，查“retrieve”这种词，不用从 A 翻到 Z，只要按字母跳转几次，瞬间定位。对，就是这么简单粗暴！与某些“拐弯抹角”的框架（比如 LlamaIndex）不同，LazyLLM 的索引就是索引，不用绕来绕去把 Index 变成什么 retriever 或 query_engine，再倒回来才能用。：按字母逐层匹配，查一次最多只需 m 步（m 为单词长度），比如 “r-e-t-r-i-e-v-e” 一共 8 步 + 每步最多 26 次比对，量化下来提升高达 95%以上！
2025-06-12 15:17:13
724
原创 LlamaFactory × 多模态RAG × Chat-BI，万字长文揭秘RAG进化迷踪，打造专业AI助手！
RAG（检索增强生成，Retrieval-Augmented Generation）是一种结合信息检索（Retrieval）和文本生成（Generation）的技术，用于提高大模型的准确性和实用性。通过在生成文本前检索外部知识库中的相关信息，RAG 可以让大模型在回答问题时结合最新、最相关的数据，从而减少幻觉现象，并提升答案的专业性和时效性。简单说就是：让大模型在回答问题前，先去「翻书」（检索知识库），再结合最新资料输出答案！✨核心优势✓ 告别「幻觉」：用真实数据撑腰，拒绝瞎编。
2025-06-03 15:21:45
1115
1
原创 懒懒笔记 | 课代表带你梳理【RAG课程 9&10：大模型微调与思维链蒸馏】
在前面的教程中，我们通过优化检索器和召回策略，提升了RAG系统的检索精度。但要生成高质量的回复，大模型的能力同样关键。这就像烹饪，不仅需要优质食材（优化的检索模块），还需要优秀的厨师（强大的LLM）。尽管掌握了基础，但在实际应用中，我们仍可能遇到问题：🙋♂️光有大模型还不够，咱得让它更懂我们的业务、更贴地飞才行！第 9、10 讲就是专门为此准备的——聚焦模型微调和知识蒸馏，让你的 RAG 系统既聪明又高效，真正从走向，稳稳拿捏复杂任务！
2025-05-28 17:41:57
1085
原创 懒懒笔记 | 课代表带你梳理【RAG 课程 6&7：评测、召回优化与多路检索】
距 RAG 系列课程上线已两周，不知道大家的进度如何？前五讲里，志宏老师带我们搞懂了什么是 RAG、如何快速上手 LazyLLM，还示范了项目工程化与自定义 Reader 的实现。然而在学习群里，问题接踵而至：🙋♂️“召回率太低，想要的内容找不回来...”🙋♂️“模型经常答非所问，怎么破？”可见，掌握基础并不等于拥有一套高性能、企业级 RAG 系统。第 6、7 讲 正是为此而来——聚焦效果评测与效果优化。本贴心小编已为你把干货浓缩成精华一起来看看📌量化→迭代；对齐产品指标📌系统性多指标分析，助
2025-05-19 11:54:50
828
原创 权威数据 | 商汤万象，再次领跑！
商汤大装置万象平台作为大模型开发与服务平台，支持模型部署、推理优化、应用开发于一体，整合日日新大模型及第三方开源能力，可支持音视频文字三模态交互，并具备多模态混合推理引擎、轻量化模型压缩、企业级RAG等核心功能，可高效助力大模型在各行各业落地。近日，国际数据公司（IDC）发布《中国模型即服务(MaaS)及AI大模型解决方案市场追踪（2024H2）》，报告显示，商汤大装置万象平台凭借13%的市场份额稳居国内AI大模型解决方案市场第二位，再次领跑行业第一梯队。
2025-05-08 15:39:56
323
原创 一文讲透“MCP协议+LazyLLM”实战：零基础秒建Agent分身！
MCP（Model Context Protocol，模型上下文协议）是由Anthropic公司于2024年11月推出的一种开放标准协议，旨在让大语言模型能够“无缝连接”外部工具和数据源。简单来说，MCP就是为了解决开头那些痛点而生的“标准化利器”。MCP 相当于 AI 应用的“USB-C接口”。正如USB-C统一了不同品牌电子设备的充电和数据接口一样，MCP则标准化了AI与外部世界交互的方式，使得模型能够以标准化的形式高效调用数据库、工具和网络搜索等多种资源，从而实现模型与外部系统的高效联动。
2025-04-22 16:06:12
1138
原创 不到一首歌的时间，AppStudio助你快速搭建 AI 智能体应用！
智能体应用模块，提供了一整套智能体的生命周期管理工具，帮助用户构建、编排、发布、分析和维护智能体应用，通过智能问答、自动化推理等功能，将模型嵌入业务应用中，提供自适应的决策和服务能力通过集成的应用管理功能，用户可以轻松完成应用的创建、配置和发布，确保应用在各个阶段的顺利运作。知识库模块，为企业级应用提供了强大的知识管理和检索能力，其功能涵盖文档管理、知识解析、知识搜索以及权限管理等多个方面，旨在帮助用户高效存储、查询和管理企业知识资源，从而提升智能体应用的响应效率和知识利用率。
2025-04-16 14:47:48
961
原创 学霸把Manus扒个底朝天，手把手教你搭建Lazy Manus！
Manus 是由 Monica.im 团队开发的全球首个自主通用 AI Agent。据Manus官方介绍：“Manus 是一款通用型 AI 助手不止于思考，更注重成果。Manus 擅长处理工作与生活中的各类任务，在你安心休息的同时，一切都能妥善完成。为什么Manus一经发布便引起了这么多的关注？我们不妨回顾一下先前的智能体应用都是怎样的👇代码助手、旅行规划助手、公文写作助手......然而这些智能助手有一些共性上的不足——他们都专注于各自的“一亩三分地”，只在各自的垂直领域发光发热。
2025-04-16 11:03:58
1273
原创 【LazyLLM × MinerU】你的私人学术特工已上线！PDF拆解黑科技来了，让RAG更懂你的文章！
以上就是基于LazyLLM融合MinerU实现PDF解析与RAG的应用与进阶，让PDF解析从 “机械拆分” 迈向 “智能重构”，更多高级玩法有待探索。（以上代码请参考项目 👉https://github.com/jisyST/LazyRAG-Mineru#）更多信息请移步“LazyLLM”gzh！
2025-04-02 17:25:42
976
原创 万字干货分享最新AI指南：用LazyLLM把Deep Research做成赛博屠龙刀！
Deep Research是OpenAI在2025.2月发布的一种新型的代理（Agent）能力，其被集成在ChatGPT中，能够通过大模型的推理能力和工具调用能力，自主从网络检索、整合信息，同时支持读取用户提供的文件，并通过编写和执行 Python 代码来分析数据，通过深度分析数据，对用户的问题进行深度解答，最终输出专业的长篇报告。
2025-03-18 19:08:11
1317
原创 商汤“万象”：AI的“超级工具箱”，开发者的新宠儿！
而万象平台则在此基础上，进一步降低了开发门槛，通过可视化的拖拉拽操作，让即使没有编程经验的用户也能轻松搭建AI应用。上，全球AI领域的顶尖企业和开发者齐聚上海，共同探讨大模型产业化、开源生态以及多模态AI应用的未来。，搭建好之后进行数据链路的收集、分析、找薄弱点、性能和算法精度上的优化迭代、Prompt更新、必要时的微调迭代、更新版本、灰度上线、进行编排、应用，这样的。商汤大装置作为算力供应商，看家本事就是让你花一块钱的算力得到两块钱的效果，这个高性价比靠的就是高效的推理和简单的微调能力。
2025-02-26 16:31:47
976
原创 LazyLLM破局多Agent应用开发困境，让你“懒”到底！
目前已经有比较有名的项目，比如langchain和llamaindex，这些工具我们都尝试用来构建我们内部的系统平台和应用，但构建的时候发现它部署的程度、上手的难度、封装的程度、微调的需求都很难满足我们的需要。在部署环节可以进行跨平台，在个人PC、端侧、云侧，私有云、公有云各个不同的云上有统一的部署方式，在多agent的编排我们也能做的很好~比如搭建pipeline时如何进行高效的连接，我们可以提供简洁的代码设计，每个组件每个部件它的不同的技术选型，我们都提供了统一的体验。，这是LazyLLM的又一亮点。
2025-02-26 14:42:50
487
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人