11、数据处理与数据权利治理：技术与实践

数据处理与数据权利治理：技术与实践

1. 数据处理技术

1.1 传统编程库与 Spark API

传统编程库在处理数据样本方面表现出色，但缺乏可扩展性。而 Spark 提供了不同的 API 抽象来分析数据属性，主要包括 RDD、DataFrame 和 Datasets。根据不同的使用场景，需要根据结构化、半结构化或非结构化数据来选择合适的 API。

1.2 机器学习在数据处理中的应用

机器学习技术越来越多地应用于搜索和学习数据处理转换，以解决特定问题。通过机器学习辅助人工理解数据属性，能够让更多用户在更短时间内完成数据理解。

1.3 分析转换模式 - 可视化分析

可视化分析允许通过集成数据可视化、转换和验证的交互式系统来处理数据。该模式的工作流程如下：
1. 数据探索 ：数据用户与数据可视化进行交互，以了解数据的属性。在数据探索过程中可以定义转换函数。
2. 模式学习 ：可视化分析模式自动将转换函数映射到更广泛的数据集。根据用户输入，工具学习可应用于各个数据集的模式。
3. ETL 转换 ：转换自动转换为可重复使用的 ETL 流程，按计划持续运行，纳入定期数据加载。该转换也可应用于流分析。

以斯坦福大学的 Wrangler 为例，它是一个用于创建数据转换的交互式系统。Wrangler 结合了对可视化数据的直接操作和相关转换的自动推断，使分析师能够迭代探索适用操作的空间并预览其效果。用户只需点击几下，就可以将空字段设置为特定值、去除不必要或异常的数据