别再让模型背锅：上海 AI Lab 推出的Dingo框架把 AI 全链路质量问题变成可复现证据

最新推荐文章于 2026-11-14 14:45:05 发布

原创最新推荐文章于 2026-11-14 14:45:05 发布 · 345 阅读

本内容遵循CC 4.0 BY-SA版权协议

上海人工智能实验室推出的Dingo框架，面向数据集、文档解析、RAG/QA、Agent Trace及线上评测等AI全链路环节，提供统一评测流程与可复现质量证据。支持规则指标、LLM Judge、语义相似度等多类评测方法，输出样本级评分、问题标签、原因说明及趋势分析，已在中国银行、上海疾控中心等场景落地应用。

如果你做过 RAG 或 Agent 系统，大概都遇到过这种情况：系统表现不稳定，但很难马上判断问题出在哪。是知识库本身有脏数据，还是检索没召回？是模型回答缺少依据，还是工具调用过程中哪一步走偏了？

上海人工智能实验室工程平台团队推出的 AI 全链路质量评测框架 Dingo，正是为解决这类问题而来。

Dingo 面向数据集、文档解析、RAG/QA、Agent Trace 与线上评测等 AI 全链路场景，将不同来源的样本和 Trace 纳入统一评测流程。通过规则指标、LLM Judge 指标，以及部分语义相似度和统计方法，Dingo 可以输出样本级评分、问题标签、原因说明和评测报告，并在平台侧支持质量趋势分析。

Dingo 更重要的作用，是把原本依赖经验、脚本和人工复盘的质量判断，沉淀为可复现、可协作、可持续治理的质量证据。对于正在走向工程化、规模化和行业落地的 AI 应用，这意味着质量不再只靠单点测试和事后排查，而可以进入一套标准化、可验证的评测体系。

面向 AI4S、科研 Agent 和复杂工具调用工作流，质量评测正在从结果判断走向过程验证。Dingo 延续上海人工智能实验室推动开放、标准化、可信 AI 基础设施的方向，为科研工作流与行业应用提供全链路质量评测能力，并已在厦门国际物流供应链中试基地、中国银行、上海疾控中心等场景落地应用。

欢迎更多科研团队、开发者和行业伙伴试用 Dingo，共同探索可信 AI 应用的质量评测与治理范式。

Dingo SaaS：

Dingo — AI Data Quality Evaluation Platform

Dingo GitHub：

GitHub - MigoXLab/dingo: Dingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool · GitHub

01 覆盖对象：从数据到执行过程

AI 应用的质量不只取决于最终回答。数据、文档解析、检索、生成、工具调用和线上环境，都会影响最终结果。

Dingo 将 AI 链路中的关键质量对象纳入统一评测：

● 数据集

典型问题：空值、重复、乱码、字段缺失、PII、安全风险。

Dingo 基于规则指标和 LLM 指标进行批量质量筛查，保留样本级问题标签和原因。

● 文档解析

典型问题：OCR 错误、表格错位、公式丢失、结构缺失。

Dingo 对解析结果进行结构、内容和可用性评估，定位文档进入知识库前的质量缺陷。

● RAG/QA

典型问题：检索不足、上下文无关、回答无依据、引用缺失。

Dingo 评估 question、context、answer、reference 之间的关系，定位问题来自召回、上下文还是生成。

● Agent Trace

典型问题：计划不合理、工具调用失败、参数错误、循环调用。

Dingo 将 Trace 拆解为任务、计划、工具调用、工具返回和最终答案，评估执行过程质量。

● 线上评测

典型问题：低分样本增加、质量波动、版本副作用。

Dingo 通过 API/SDK 异步接收生产 Trace，持续观察指标分布、低分样本和质量趋势。

Dingo 不是只判断“答案好不好”，而是帮助团队定位 AI 链路中哪一环正在影响质量。

与竞品对比，Dingo评测对象覆盖度

（说明：上表为面向本次分享的定性对比，各产品能力持续演进，实际选型请以最新版本为准。Dingo 不追求在单一维度上超过所有专精工具，而是用一套统一范式提供"够深且连贯"的全链路覆盖。）

02 统一流程：从样本接入到证据输出

Dingo 的专业性，不在于把很多功能放在一起，而在于把不同质量问题组织进同一套工程化评测流程：接入数据、映射字段、配置指标、执行评测、输出证据。

这套流程让数据、算法、应用开发和质量验证团队可以围绕同一批样本、同一套指标、同一份报告讨论问题，减少“各查各的日志、各写各的脚本、各下各的判断”的协作成本。

Dingo架构图

核心流程

01 数据接入

支持本地文件、HuggingFace 数据集、文档解析结果，也支持通过 API/SDK 接收线上 Trace。

02 字段映射

将业务字段映射为评测输入，例如 question、context、answer、tool_calls。RAG 样本中，user_query 可映射为问题，retrieved_chunks 映射为上下文，model_answer 映射为回答。

03 指标配置

选择规则指标、LLM Judge 指标、语义相似度/统计类方法，设置阈值、模型和指标组。

04 任务执行

通过 SaaS、SDK、CLI 或 MCP Server 运行评测；在 Agent/Coding 工作流中，也可以让评测成为自动触发的一步。

05 结果输出

生成 score、status、label、reason、样本证据、统计报告和趋势分析。

Dingo批量评测结果统计示意

03 具体方案：不同对象如何进入评测

统一流程解决的是“怎么跑起来”，对象级方案解决的是“具体评什么”。

对象级评测方案

数据集：输入 content、metadata、字段值；评测空值、重复、乱码、PII、格式合规、语义质量；输出问题样本、命中规则、原因标签。

文档解析：输入 OCR、Markdown、JSON、block 结构；评测文本识别、段落结构、表格公式、版面完整性；输出页面/区块级问题定位。

RAG/QA：输入 question、context、answer、reference；评测召回、相关性、忠实度、答案完整性；输出检索问题、生成问题、引用问题。

Agent Trace：输入 task、plan、tool_calls、tool_results、final_answer；评测任务完成、计划质量、工具正确性、错误恢复；输出过程级评分和失败步骤。

线上 Trace：输入持续提交的生产样本；评测指标分布、低分样本、版本波动；输出趋势报告、异常样本、质量告警线索。

这也是 Dingo 区别于一次性评测脚本的地方：不同对象有不同输入结构、评测重点和输出方式，但最终都能进入统一的评测结果体系。

04 指标模板：Dingo 如何沉淀标准

一个可复用指标，不能只是一句“判断质量好不好”。它需要明确评估目标、输入字段、计算方式、评分标准、阈值和使用场景。

Dingo 指标模板示意，以 RAG Faithfulness 为例

评估目标：答案是否忠实于检索上下文。

输入字段：question、answer、retrieved_contexts。

计算方式：将答案拆解为独立陈述，逐条判断是否被上下文支持。

评分方式：支持陈述数 / 总陈述数。

输出结果：score、label、reason、问题样本。

这类指标模板，是 Dingo 标准化能力的核心。它让团队不是每次重新定义“什么叫好”，而是把评测逻辑、阈值、字段和输出沉淀为可复用资产。

05 Dingo典型使用场景举例

● MinerU 文档解析质量评测：面向 PDF、OCR、Markdown、JSON、block 结构等解析结果，评估文本识别、段落结构、表格公式和版面完整性，定位文档进入知识库前的质量缺陷。

● Agent Trace 过程评测：将一次 Agent 执行拆解为任务、计划、工具调用、工具返回、重试和最终答案，评估任务完成度、计划质量、工具正确性、错误恢复和步骤效率；也适合对 Codex、Claude Code、Intern-Agent、Langfuse 等工作流中的 Trace 做离线复盘。

● AI4S 科研 Agent 工作流评测：面向书生·端砚（Intern AI Discovery）等科研发现平台，包含文献检索、工具调用、实验分析等复杂科研工作流，评估计划质量、步骤效率、任务完成和错误恢复能力，帮助研发团队复盘 Agent 的过程质量。

● TC609 标准化对齐：将数据集相关标准条款转化为指标组，围绕数据字段、来源说明、文档完整性、安全合规等要求生成评测结果，辅助质量验收和交付报告。

● 从试用到生产监控：SaaS 平台提供 Quick Try、Full Pipeline 和 Online Evaluation 等模式，分别对应单样本试评、批量数据评测和线上 Trace 持续评测。

● 企业级数据质量评测解决方案：Dingo已在“厦门国际物流供应链中试基地”，“中国银行”，“上海疾控中心”等多家头部企业/机构落地应用，覆盖文本，多模态等多种数据集类型。