sparkthriftserver提交任务到yarn上找不到用户问题（nslcd）

sparkthriftserver提交任务到yarn上找不到user。使用nslcd解决问题，打通linux和ldap。

背景：

ranger权限管控。开源的ranger就可以控制hiveserver2的权限，这样提交hive任务的时候。会先通过hiveserver2的权限去校验当前提交任务的用户有无权限（权限由ranger控制），鉴权过后，再由hive里的代理配置，让提交到yarn时，都是用过hive用户去提交，这样就可以控制住权限问题。

但是sparkthriftservre的话，没有上面所说的这种机制。要么就只能看yarn那边能否有代理的配置，但是这样一来应该也是无法做到权限管控的。sparkthriftserver虽然开源不支持，但是可以通过改代码和集成的方式去支持，但是也不能做到像ranger直接管控hiveserver2的这种样子。。（rangerusersync、hiveserver2、sparkthriftserver集成了ldap）。

所以这样的话只能通过ldap的用户同步到linux里面去做了。

这里使用的是nslcd

参考

https://blog.youkuaiyun.com/weixin_30591551/article/details/96650067?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165465048016781667885548%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165465048016781667885548&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~rank_v31_ecpm-4-96650067-null-null.142%5Ev11%5Epc_search_result_control_group,157%5Ev13%5Econtrol&utm_term=nslcd&spm=1018.2226.3001.4187

https://www.lisenet.com/2016/setup-ldap-authentication-on-centos-7/

部署安装

yum install -y openldap-clients nss-pam-ldapd

#PS：可以直接填写basedn为dc=xxx，就不区分什么ou=People，ou=Group啥的了。如果要验证是否成功，可以到机器上用命令useradd和groupadd试试，已存在就说明加载进去了。
authconfig --enableldap --enableldapauth --ldapserver=ldap://172.16.84.34:389 --ldapbasedn=“ou=People,dc=dtstack,dc=com” --enablemkhomedir --update

systemctl restart nslcd

配置文件可以看这里：

/etc/openldap/ldap.conf

/etc/nslcd.conf

验证

version: 1

dn: cn=qiuying,ou=People,dc=dtstack,dc=com
objectClass: account
objectClass: posixAccount
objectClass: shadowAccount
objectClass: top
cn: qiuying
gidNumber: 1005
homeDirectory: /home/qiuying
uid: qiuying
uidNumber: 1005
loginShell: /bin/bash
shadowLastChange: 18191
shadowMax: 99999
shadowMin: 0
shadowWarning: 7
userPassword:: e1NTSEF9RE8vbmQxcEVweEVxMjNNcWxIcktuemVrSUZUeHJlYk8=

PS: 工具使用apacheds

PS：ldap里添加的这个用户即使使用id命令找不到这个用户也是可以的。只要保证计算节点都要对接好就是了，不然任务不一定会到哪台机器去执行。因为id要能看到的话应该是要有posixAccount这个objectClass的。

下面列出部分常用objectClass要求必设的属性。
  ● account：userid。
  ● organization：o。
  ● person：cn和sn。
  ● organizationalPerson：与person相同。
  ● organizationalRole：cn。
  ● organizationUnit：ou。
  ● posixGroup：cn、gidNumber。
  ● posixAccount：cn、gidNumber、homeDirectory、uid、uidNumber。