17、揭秘Azure数据湖分析与机器学习的高级应用

揭秘Azure数据湖分析与机器学习的高级应用

1. Azure数据湖分析简介

Azure数据湖分析（ADLA）与Azure数据湖存储（ADLS）是处理大规模数据的强大云服务组合。它们在参考实现中展现出了显著优势，为企业提供了大规模批量数据处理和分析能力。

1.1 参考实现总结

通过引入Azure Data Lake和ADLA，实现了按业务实体进行数据捕获、分析和报告的功能，达成了以下目标：
- 利用Azure Data Lake提供历史团队健康监测存档和分析解决方案。
- 建立全面的历史机器学习分析数据集，用于基于实际或模拟的实时传感器数据创建和优化团队健康预测。
- 支持完整的回归分析场景，用于分析和“回放”历史事件。
- 能够对历史数据重复和微调机器学习算法。
- 为每个业务实体提供安全、个性化的“自助式商业智能”功能，方便连接、查看和提取数据，借助Power BI还能轻松自动发布到Web或移动设备。

1.2 关键价值主张

1.2.1 处理几乎所有类型的数据

U - SQL是创建ADLA的首选语言，能处理几乎所有数据摄取场景：
- 非结构化、半结构化或结构化数据。
- 使用C#的特定领域用户定义类型。
- 对Data Lake和Azure Blob的U - SQL查询。
- 对操作SQL存储和SQL DW的联合查询，消除了传统ETL操作的复杂性和处理时间要求。

1.2.2 从第一天就富有成效

Azure Data Lake Store、ADLA和U - SQL的组合让用户能