别再只看文本了！EasyDoc 带你进入 RAG 全新时代！

AI大模型-上马定江山

于 2025-06-30 21:00:28 发布

阅读量623

点赞数 8

CC 4.0 BY-SA版权

文章标签：人工智能大模型学习大模型入门 AI大模型 RAG 大模型大模型数据

本文链接：https://blog.youkuaiyun.com/Android23333/article/details/149031375

前言

在构建多模态检索增强生成（RAG）系统时，由于需要处理和理解多种类型的数据，我们面临着一系列独特的挑战。传统的 RAG 系统主要侧重于文本，但现实世界中的文档往往包含复杂的非结构化信息，比如表格、图表和图片。 这些非文本模态的数据给准确的信息提取和有效利用带来了显著的难题。

多模态 RAG 主要挑战

多类型文档数据解析困难

文本是最基础的模态，但文档中普遍存在的表格、图表和图片，其内部结构和信息表达方式与纯文本截然不同。

解析这些非文本数据，并将其转化为 LLM 能够理解和利用的格式，是一项复杂的任务。简单地将其视为文本会丢失大量结构化和视觉信息。

表格和图表蕴含丰富信息，需独立解析：

表格和图表并非简单的图像。它们通常包含了精确的数值、趋势、比较关系以及隐藏的结构化数据。例如，一个柱状图不仅展示了数据点，还通过柱子的长短、颜色、坐标轴标签等传递了大量信息。

如果仅仅将它们转化为简单的文本描述，很容易丢失关键的细节和上下文，导致 RAG 系统无法进行精确的推理和回答。因此，它们需要专门的解析和解释方法。

图表与文字的块级划分与整合

文档中的图表和文字往往是相互关联的。一段文字可能在解释某个图表，而图表则提供了视觉化的数据支持。

如何准确地将这些不同模态的内容划分为有意义的块（chunk），并建立它们之间的语义关联，是 RAG 系统有效检索和生成高质量回答的关键。 粗糙的划分可能导致信息碎片化，而无法识别模态间的关联则会限制 LLM 的理解能力。

现有多模态 RAG 方案

方法1：将所有模态嵌入到同一向量空间（Joint Embedding）

利用像 CLIP 或 ALIGN 这样的多模态预训练模型，将文本和图像（甚至其他模态的表示）都映射到一个共享的向量空间中。

用户查询（通常是文本）可以嵌入到这个共享空间中，然后通过向量相似性搜索检索最接近的图像和文本块。

这样简化了检索过程，因为所有数据类型都在一个统一的语义空间中进行比较。生成阶段可以使用多模态 LLM (MLLM) 来处理检索到的多模态内容。

方法2：归一化到单一主模态（Grounding to Primary Modality）

对于图像、表格和图表，通过专门的视觉模型（VLM）或图像到文本模型（如 LLaVA、FUYU-8b、甚至针对图表的 DePlot 等），生成详细的文本描述、摘要或结构化数据（如表格的 CSV 格式）。这些生成的文本与原始文本一起进行嵌入和检索。原始图像/表格本身也可以作为引用存储。

方法3：多存储与重排序（Multi-Vector Retrieval with Re-ranking）

文本块存储在文本向量数据库中，图像摘要（由 VLM 生成）存储在图像向量数据库中，并关联到原始图像。表格摘要（由 VLM 或 LLM 生成）存储在表格向量数据库中，并关联到原始表格数据。

当用户查询时，系统会并行地从所有存储中检索相关内容。检索到的来自不同模态的候选结果会通过一个多模态重排序器进行统一评估和排序，以选出最相关的结果集合。最终，MLLM（如 GPT-4V、Qwen-VL、Pixtral 12B）可以同时接收文本和原始图像作为输入来生成答案。

EasyDoc 智能解析引擎

EasyDoc 是 EasyLink AI 基于自研视觉语义大模型打造的文档解析服务，为开发者提供高效、精准的非结构化文档处理能力。支持多种文档格式，输出结构化数据，助力各行各业构建智能、高效的AI Agent应用。

主要的功能：

Lite 模式：精准识别文档布局块，提取块类型（如标题、段落、列表）及文本内容，适用于基础文档解析需求。
Pro 模式：合并跨页/跨栏视觉块，生成逻辑块，并构建文档章节层次结构，提供语义化组织，适合复杂文档处理。
Premium 模式：深度解析图表（如柱状图、饼图）与表格（含行列关系、跨页拼接），输出丰富结构化数据，赋能高级 AI 应用。

EasyDoc 助力开发者将非结构化文档转化为结构化知识，解锁 AI 驱动的无限可能。

多格式支持：兼容 .dotm、.docm、.doc、.dotx、.docx、.txt、.html、.dot、.xltm、.xlsm、.xlsx、.xls、.xlt、 .pptx、.potm、.pptx、.ppt、.pot、.pps、.tif、.png、.jpg、.bmp 等主流格式，适配多样化业务场景。
结构化输出：提供 JSON 格式（Premium 模式支持 Markdown），便于 AI 应用和程序化处理。
API 集成：简洁的 REST API，配备详细文档和示例代码，确保快速上手。
安全保障：采用 HTTPS 加密传输，文档处理后即删除，严格遵循数据保护法规。

EasyDoc 与 RAG集成

EasyDoc 的输出专为 RAG 系统优化：

语义分块：相比于业界采用字数、标点、页等规则化分块，Easydoc基于语义识别分块（如段落、表格、图表及其标题、注释），合并跨页/跨栏内容，形成逻辑完整的语义单元。
上下文增强：通过层级结构为每个语义单元提供文档路径上下文，保留全局关联性，提升检索的召回率与准确性。
精准溯源：提供页码和视觉坐标信息，支持 LLM 高效定位信息源。

内容块智能识别

内容块智能识别

超越传统行文分割，将零散文本转化为LLM可理解的语义知识块。

层次结构分析

层次结构分析

智能识别文档结构，构建文档结构树，为LLM注入结构化的上下文认知。

图表深度解读

图表深度解读

将复杂的表格与图片进行深层次的语义解读，全面提升多模态AI应用效果。

EasyDoc 技术亮点

相较传统文档解析方案，EasyDoc 的视觉语义大模型技术显著提升解析精度和语义理解能力，特别适合需要深度内容分析的 AI 应用场景，如 RAG 知识库和智能 Agent。

视觉语义融合：结合视觉布局与语义理解，精准识别复杂文档结构（如跨页表格、嵌套图表），输出逻辑完整的语义单元。
智能分块：基于语义分块（如段落、表格、图表及其标题、注释），合并跨页/跨栏内容，优于传统字数或标点分块。
上下文保留：通过层级结构（如 parent_id）为每个语义单元提供文档路径上下文，增强 RAG 系统的检索准确性。
精准溯源：提供页码和视觉坐标信息，支持 LLM 高效定位信息源，提升数据可信度。
高性能处理：基于大模型优化，快速解析大批量文档，满足企业级需求。

EasyDoc 应用场景

EasyDoc 为 AI Agent应用提供强大的非结构化文档预处理能力，广泛应用于通用场景和行业场景，以下结合业界成功实践示例。

应用场景	案例描述	EasyDoc 作用
信息抽取	某企业通过解析合同文档提取关键条款（如金额、日期），实现自动化合规审查。	Lite 模式精准提取文本块，Pro 模式合并跨页条款，输出结构化 JSON，提升信息提取效率。
内容比对	某法律科技公司比较多版本法律文书，识别条款差异。	Pro 模式构建文档层次结构，基于全文知识点理解并标注语义级差异，Premium 模式解析表格变更，加速比对流程。
语义检索与推荐	某内容平台通过解析用户上传的 PDF 文档，实现精准内容推荐。	Premium 模式提供语义分块和上下文信息，优化 RAG 检索的召回率与准确性。
AI 知识库	某企业构建内部知识库，整合技术文档和报告。	Pro 模式生成逻辑层次结构，Premium 模式解析图表和表格，增强知识库的语义检索能力。
金融 - 智能投研与投顾	某投研机构解析年报和研报，提取财务数据和关键洞见。	Premium 模式深度解析财务表格和图表（如利润表、趋势图），输出结构化数据，助力投研自动化。
医疗 - 病例分析	某医疗 AI 系统解析病例报告，提取诊断和治疗信息。	Pro 模式合并跨页病例记录，Premium 模式解析检查表格，提供结构化数据支持精准诊断。
法律 - 判例分析	某法律科技公司解析判例文档，构建判例知识库。	Pro 模式提取章节结构，Premium 模式解析引用表格，确保语义完整性和检索精度。
制造 - 辅助设计与维修知识库	某制造企业解析设备手册，构建维修知识库。	Premium 模式解析技术图表和表格，输出结构化数据，优化维修查询和设计辅助。

EasyDoc API使用

要使用 EasyDoc API，您需首先生成 API 密钥。请按照以下步骤操作：

访问密钥管理页面：在浏览器中打开 EasyDoc API 密钥管理页面。
登录账户：使用您的 EasyDoc 账户凭据登录。若无账户，请先注册。
生成 API 密钥：登录后，点击“创建新密钥”按钮生成唯一的 API 密钥。
复制密钥：密钥生成后，复制显示的 API 密钥至剪贴板。
安全使用密钥：将密钥用于 EasyDoc API 身份验证，确保在代码或配置文件中正确配置。

https://docs.easylink-ai.com/easydoc/quick-start/restful-api

EasyDoc REST API 提供高效的文档解析功能，助力开发者将非结构化文档转化为适合LLM应用的结构化数据。使用 API 需完成以下两步：

发起解析任务：通过 POST /v1/easydoc/parse 上传文档，创建解析任务。
查询任务状态与结果：通过 GET /v1/easydoc/parse/{task_id} 获取任务状态及解析结果。

EasyDoc 输出结构化的 JSON 格式，专为 AI 应用和程序化处理设计。Premium 模式额外支持 Markdown 格式，提供更灵活的数据组织与展示方式。

import requests

url = "https://api.easylink-ai.com/v1/easydoc/parse"
headers = {
"api-key": "<your-api-key>"
}

files = [
  ("files", open("<your-parse-file-path1>", "rb")),
  ("files", open("<your-parse-file-path2>", "rb"))  # 可以传单个，或多个文件
]

data = {
"mode": "lite"
}

response = requests.post(url, headers=headers, files=files, data=data)

print(response.status_code)
print(response.json())

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

在这里插入图片描述

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。
在这里插入图片描述
最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。