大数据平台权限实践

大数据平台权限实践

背景

随着数据平台数据的不断积累，越来越多的业务团队需要访问、探索、分析这些数据。但是过去由于大数据平台本身的安全控制能力不足，我们不允许业务团队直接访问相关数据，而是通过提具体的需求，由我们向业务团队提供最终的数据。这种合作方式非常低效也不灵活，到现在已经无法满足要求，为此必须要开放我们的数据平台，而开放需要基本的安全,权限就是其中重要的一环。在为大数据平台集成权限的过程中，我们遵循了以下原则：

• 适度安全，降低人为风险
• 隔离环境，提高工作效率
• 权责明确，规范业务流程

关于这个原则的进一步解释请参见深入探讨大数据权限管理方案-从哲学到技术

架构

名词解释

• VIP： 虚拟IP，keepalived可以配置合适的检测和选举策略，让VIP从一台服务器漂移到另一台服务器。例如当前节点上的服务失败了，能在很短的时间内切换到另一个节点上的服务，是热备的一种方案。
• 负载均衡： 保证客户端访问查询计算引擎以及底层存储是负载均衡的并避免单点问题。
• 查询计算引擎层： 被用来对数据进行导入，清洗，格式化，查询，分析等操作。
• HDFS分布式文件系统： 数据是存储在HDFS分布式文件系统上的，和普通的文件系统一样，包含了用户用户组信息，以及数据的读写权限。Sentry是使用HDFS的用户组