TensorFlow 数据验证：能够大规模理解、验证和监控数据

关注

原创最新推荐文章于 2026-09-22 19:22:39 发布 684 阅读 AI 写同款· GEO 优化 ›

数据准备与加载全流程：从Pandas到深度学习管道的核心实践数据准备与加载是数据科学和机器学习项目中的基础环节，它涉及将原始数据转换为适合分析或建模的格式。其核心原理在于通过系统化的流程解决数据质量与可用性问题，包括数据清洗、转换、特征工程等步骤。这一过程的技术价值在于为后续建模与分析提供可靠、高效的数据基础，直接影响模型性能与项目成败。在应用场景上，无论是中小规模的表格数据还是大规模的深度学习任务，都需要适配不同的工具链，例如Pandas用于GB级以下数据处理，而Dask、Vaex或TensorFlow的tf.data则适用于更大规模或需要高效流水线的场景。本文聚阅读详情

文 / Clemens Mewald (产品经理) and Neoklis Polyzotis (研究科学家)

来源 | TensorFlow 公众号

我们推出了 TensorFlow 数据验证（TFDV），这是一个可以帮助您大规模地理解、验证和监控 ML 数据的开源库。学术界和工业界都非常关注 ML 算法及其性能，一旦输入数据有误，所有这些为了优化而做的努力都将成为泡影。能够自动化和扩展数据分析，验证和监视任务就变得尤其重要。

TFDV 是 TFX Platform 平台的一部分，用于每天分析和验证若干 PB 的 Google 数据。它在早期捕获数据错误方面具有良好的记录，因此有助于 TFX 客户维护其 ML 流程的健康状况。

这里写图片描述
图1：TFDV 用于 TFX 中的数据分析和验证

Notebook 中的 TensorFlow 数据验证

在设计 TFDV 的早期，我们决定在 notebook 环境中使用它。我们发现，让数据科学家和工程师尽可能早地在他们的工作流程中使用 TFDV 库非常重要，以确保他们即便是只用一小部分数据进行探索时，也可以检查和验证他们的数据。这将使后续过渡到大规模生产部署变得更容易。

对描述性统计进行计算和可视化

在 TFDV 的基础上有一个功能强大的库，用于计算训练数据中的那些描述性统计数据。这些统计信息用于帮助开发人员调查和了解他们的数据，以及推断架构（稍后将详细介绍）

推断架构：根据统计数据，TFDV 推断出一种模式（由 schema.proto 描述），旨在反映数据的稳定特征。
验证新数据：给定一个模式，TFDV 可以根据模式中表达的期望验证一组新数据。

生产流程中的 TensorFlow 数据验证

在 notebook 环境之外，可以使用相同的 TFDV 库来大规模分析和验证数据。 TFX 流程中 TFDV 的两个常见用例是连续到达数据和训练 / 服务偏斜检测的验证。此外，对于 TensorFlow Transform 的用户，可以使用推断的模式将数据解析为 preprocessing_fn。

验证持续到达数据 Validation of Continuously Arriving
Data：在数据连续到达的情况下，需要根据模式中编码的期望来验证新数据。
训练 / 服务偏斜检测 Training/Serving Skew Detection：训练 /
服务偏斜是指用于训练模型的数据与服务系统观察到的数据之间的特征值或分布的差异。