9、Hadoop用户配置与认证全解析

Hadoop用户配置与认证全解析

1. Hadoop用户配置

在Hadoop安全体系中，集群的所有用户都必须在集群的所有服务器上进行配置。用户信息可以存于本地的 /etc/passwd 文件，更常见的是通过服务器访问基于网络的目录服务（如OpenLDAP或Active Directory）来配置。

之所以有这样的要求，是因为Hadoop允许在集群机器间提交和执行任意代码。若不信任用户，就需限制他们对服务器上所有服务（包括标准Linux服务，如本地文件系统）的访问。当前，执行单个任务时使用提交作业用户的用户名和UID是实施这些限制的最佳方式，这就要求集群中的每台服务器使用一致的用户数据库。

不过，无需为所有用户启用本地或远程shell访问。最佳实践是为用户配置默认shell为 /sbin/nologin ，并通过 /etc/ssh/sshd_config 文件中的 AllowUsers 、 DenyUsers 、 AllowGroups 和 DenyGroups 设置来禁用SSH访问。

2. 认证方式

早期的Hadoop及其相关生态项目不支持强认证。如今，Hadoop生态系统中的大多数组件已在少数认证选项上实现了标准化，具体取决于服务和协议。其中，Kerberos在生态系统的大多数组件中被广泛使用，因为Hadoop在安全特性开发早期就将其作为标准。

以下是Hadoop生态系统中不同服务和协议对应的认证方法：