元数据管理和数据质量管理工具

一、元数据管理工具

元数据管理工具旨在自动化采集、存储和展示元数据，并提供可视化的元数据血缘和搜索功能。

1. Apache Atlas

• 简介：一个开源的元数据管理工具，深度集成于Hadoop生态系统。
• 核心功能：
  • 元数据采集：支持HDFS、Hive、Kafka等数据源的自动扫描。
  • 血缘分析：通过图形化界面展示数据在不同系统间的流转。
  • 分类管理：支持基于标签的元数据分类和搜索。
• 适用场景：
  • 使用Hadoop、Spark等大数据平台的企业。
  • 需要管理分布式存储系统的元数据。
• 优势：
  • 开源且高度可定制。
  • 易于与现有大数据生态系统集成。

---

2. Alation

• 简介