8、整合Azure Data Lake Analytics：处理复杂数据格式与外部数据源

整合Azure Data Lake Analytics：处理复杂数据格式与外部数据源

1 使用自定义程序集扩展Azure Data Lake Analytics

Azure Data Lake Analytics (ADLA) 是一种强大的工具，它能够处理存储在Azure Data Lake Store中的大规模数据集。为了充分利用ADLA的强大功能，用户经常需要处理非结构化数据，如JSON、XML和Avro格式的数据。本章将详细介绍如何使用自定义程序集扩展ADLA的功能，以处理这些复杂的数据格式。

1.1 注册和使用自定义程序集

ADLA作业在编译时会自动加载一些常用的程序集，如 System , System.Data , System.Linq , System.Text , System.Text.RegularExpressions , Microsoft.Analytics.Interfaces , Microsoft.Analytics.Types.Sql 等。这些程序集允许你在U-SQL脚本中使用C#方法，如 string.Format() 和 Convert.ToInt() 。

然而，为了处理特定的数据格式，如JSON和Avro，你需要注册额外的自定义程序集。以下是将自定义程序集注册到ADLA的具体步骤：

1. 创建U-SQL数