28、大数据存储与Azure应用程序扩展

大数据存储与Azure应用程序扩展

1. Azure Data Lake存储相关

1.1 安全特性

在使用Azure Data Lake Store（ADLS）时，安全方面需要注意以下几点：
- 优先使用组而非单个用户/服务 ：虽然一开始将单个用户分配到资源或文件夹比较容易，但当对数据感兴趣的人数迅速增长时，就会很快遇到问题。因此，最好使用Azure AD组来确定对资源本身的基于角色的访问控制（RBAC）以及文件和文件夹的POSIX访问控制列表（ACL）。这样做还能提高解决方案的性能，因为检查一个实体是否属于某个组比遍历一长串用户要快。
- 最小权限集 ：和其他服务一样，始终从访问Azure Data Lake Store实例所需的最小权限集开始。不要给只读取数据的人分配写入权限，也不要给只读取文件夹中单个文件的服务分配执行权限。
- 启用防火墙 ：通常，你不希望任何人都能访问存储在ADLS中的数据。为了保护你的解决方案，使只有一部分IP地址可以访问信息，需要启用防火墙，这样不在列表中的任何人都将被拒绝访问。

1.2 弹性

确保数据以安全的方式存储，并且在数据中心出现任何问题时不会丢失是至关重要的。ADLS不支持地理冗余，你必须自己实现。为此，你需要引入一个工具，以便按照你需要的方式复制数据。文档中提到了三种不同的工具：Distcp、Azure Data Factory和AdlsCopy，当然，你也可以使用任何能够连接到Azure Data Lake Store并与该服务集成的其他工具。

在