9、Hadoop用户配置与认证全解析

Hadoop用户配置与认证全解析

1. Hadoop用户配置

Hadoop安全中一个较难理解的要求是，集群的所有用户必须在集群的所有服务器上进行配置。这意味着用户信息可以存在于本地的 /etc/passwd 密码文件中，或者更常见的是，通过让服务器访问基于网络的目录服务（如OpenLDAP或Active Directory）来进行配置。

Hadoop本质上是一个允许在集群机器上提交和执行任意代码的服务。如果不信任用户，就需要限制他们对服务器上所有服务（包括本地文件系统等标准Linux服务）的访问。目前，实施这些限制的最佳方法是使用提交作业的用户的用户名和UID在集群上执行单个任务。为满足这一要求，集群中的每台服务器都需要使用一致的用户数据库。

虽然需要在集群的所有服务器上配置所有用户，但不需要为所有这些用户启用本地或远程shell访问。最佳实践是为用户配置默认shell为 /sbin/nologin ，并使用 /etc/ssh/sshd_config 文件中的 AllowUsers 、 DenyUsers 、 AllowGroups 和 DenyGroups 设置来禁用SSH访问。

2. Hadoop生态系统认证方法

早期的Hadoop及相关生态系统项目不支持强认证。不过，如今生态系统中的大多数组件已根据服务和协议，在相对较少的认证选项上实现了标准化。特别是，Kerberos在生态系统的大多数组件中得到广泛应用，因为Hadoop在