Zeppelin 和livy结合实现代理用户中如何代理ldap邮箱用户

最新推荐文章于 2023-03-27 13:30:09 发布

qwemicheal

最新推荐文章于 2023-03-27 13:30:09 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据工具文章标签： user-impersonation proxy-user zeppelin livy

本文链接：https://blog.youkuaiyun.com/qwemicheal/article/details/70306104

大数据工具专栏收录该内容

5 篇文章

订阅专栏

一．需求

很多做数据分析的同事日常工作即使利用spark操作数据做一些聚合分析等等再写出数据作可视化等等．

而现在大热的zeppelin则可以完成丛数据抽取处理到展示的一条龙服务，但是由于zepplin还属于一个比较新的项目，没有那么稳定，之前公司内部使用　zeppelin 0.70 snapshot版本时发现zeppelin proxy user功能尚不能支持．意味着zeppelin内部启动的所有interpreter都会以同一个用户运行，不利于spark集群的权限控制，资源调度与安全记录，所以一直没有推开．

但是前几天偶然发现zeppelin 0.71版本在三月末发布了，并且支持user impersonation.也即代理用户功能，具体的实现可以参见官方文档，说的比较清晰．

我在尝试了之后发现spark interrupter确实可以支持代理用户．可以分用户，分notebook启动spark任务

但是目前zeppelin的interpreter一旦启动，会长期驻留后台，消耗大量的计算资源

所以还是使用zeppelin+livy的方式实现用户代理和后台权限控制．优点在于livy支持cluster模式并seesion 客户端一段时间(默认６０分钟)不活动会自动中止spark任务．

二．难点

由于公司内部使用ldap验证用户身份，所以为zeppelin配置了shiro控件实现了ldap登录，但是从官方文档可知，如果想要zeppelin代理用户提交spark任务，目标用户必须首先存在于zeppelin服务器上．

但是ldap验证过后的用户都是abc@company.com的形式，而useeradd是不支持＠这样的字符的．所以代理用户提交任务时会出现

id .... No such user这样的错误．

解决方案在于官方文档中提到的在zeppelin-env.sh配置文件中添加：

export ZEPPELIN_IMPERSONATE_CMD='sudo -H -u ${ZEPPELIN_IMPERSONATE_USER} bash -c '

这个指令会被bin/interrupter.sh执行起到代理用户启动interrupter的作用．显然下面的变量就是用户ldap登录成功后的用户名

${ZEPPELIN_IMPERSONATE_USER}

那么对上面的shell指令做一些更改将用户名变成不包括邮箱前缀不就解决问题了吗，如下

export ZEPPELIN_IMPERSONATE_CMD='echo ${ZEPPELIN_IMPERSONATE_USER} | cut -d \@ -f 1 |xargs -I {} sudo -H -u {} bash -c '

但是这样还是会报错

sudo: unknown user: {}
sudo: unable to initialize policy plugin

原因就在于bin/interrupter.sh　脚本中执行命令前会做一些包装，按照官方文档中的原生指令，这种包装是没问题的，但是由于我更改的指令里已经有echo了，两个echo指令叠加在一块就会导致命令提前被执行因而出现上面的错误．

ZEPPELIN_IMPERSONATE_RUN_CMD=$(eval "echo ${ZEPPELIN_IMPERSONATE_CMD} ")

解决方案就是将上面的指令改成：

ZEPPELIN_IMPERSONATE_RUN_CMD=$ZEPPELIN_IMPERSONATE_CMD

但这种方式毕竟只是权益之计，后续像官方jira反应希望能有更好的解决方案．