28、大数据存储与Azure应用程序扩展

大数据存储与Azure应用程序扩展

1. 大数据存储 - Azure Data Lake

Azure Data Lake Store是一项用于存储几乎无限量数据且不影响其结构的Azure服务。以下是关于它的详细介绍：
- 安全性 ：
- 优先使用组而非用户/服务 ：虽然一开始将单个用户分配到资源或文件夹较为容易，但随着对数据感兴趣的人数迅速增长，会很快面临问题。因此，最好使用Azure AD组来确定对资源本身的基于角色的访问控制（RBAC），以及对文件和文件夹的POSIX访问控制列表（ACL）。这样做还能提高解决方案的性能，因为检查一个实体是否属于某个组比遍历一长串用户要快。
- 最小权限集 ：与其他服务一样，始终为访问Azure Data Lake Store实例的用户分配所需的最小权限集。例如，不要给仅读取数据的人分配写入权限，也不要给仅读取文件夹中单个文件的服务分配执行权限。
- 启用防火墙 ：通常，不希望任何人都能访问存储在ADLS中的数据。为了保护解决方案，使只有一部分IP地址可以访问信息，应启用防火墙，这样不在列表中的任何人都将被拒绝访问。
- 弹性 ：确保数据以安全的方式存储，并且在数据中心出现任何问题时不会丢失至关重要。ADLS不支持地理冗余，需要自行实现。可以使用如Distcp、Azure Data Factory和AdlsCopy等工具来进行数据复制，当然也可以使用任何能够连接到Azure Data Lake Store并与之集成的工具。在考虑Azure Data