Zeppelin 和livy结合实现代理用户中如何代理ldap邮箱用户

一.需求

很多做数据分析的同事日常工作即使利用spark操作数据做一些聚合分析等等再写出数据作可视化等等.

而现在大热的zeppelin则可以完成丛数据抽取处理到展示的一条龙服务,但是由于zepplin还属于一个比较新的项目,没有那么稳定,之前公司内部使用 zeppelin 0.70 snapshot版本时发现zeppelin proxy user功能尚不能支持.意味着zeppelin内部启动的所有interpreter都会以同一个用户运行,不利于spark集群的权限控制,资源调度与安全记录,所以一直没有推开.

但是前几天偶然发现zeppelin 0.71版本在三月末发布了,并且支持user impersonation.也即代理用户功能,具体的实现可以参见官方文档,说的比较清晰.

我在尝试了之后发现spark interrupter确实可以支持代理用户.可以分用户,分notebook启动spark任务

但是目前zeppelin的interpreter一旦启动,会长期驻留后台,消耗大量的计算资源

所以还是使用zeppelin+livy的方式实现用户代理和后台权限控制.优点在于livy支持cluster模式并seesion 客户端一段时间(默认60分钟)不活动会自动中止spark任务.


二.难点

由于公司内部使用ldap验证用户身份,所以为zeppelin配置了shiro控件实现了ldap登录,但是从官方文档可知,如果想要zeppelin代理用户提交spark任务,目标用户必须首先存在于zeppelin服务器上.

但是ldap验证过后的用户都是abc@company.com的形式,而useeradd是不支持@这样的字符的.所以代理用户提交任务时会出现

id .... No such user这样的错误.

解决方案在于官方文档中提到的在zeppelin-env.sh配置文件中添加:

export ZEPPELIN_IMPERSONATE_CMD='sudo -H -u ${ZEPPELIN_IMPERSONATE_USER} bash -c '
这个指令会被bin/interrupter.sh执行起到代理用户启动interrupter的作用.显然下面的变量就是用户ldap登录成功后的用户名

${ZEPPELIN_IMPERSONATE_USER}

那么对上面的shell指令做一些更改将用户名变成不包括邮箱前缀不就解决问题了吗,如下

export ZEPPELIN_IMPERSONATE_CMD='echo ${ZEPPELIN_IMPERSONATE_USER} | cut -d \@ -f 1 |xargs -I {} sudo -H -u {} bash -c '

但是这样还是会报错

sudo: unknown user: {}
sudo: unable to initialize policy plugin

原因就在于bin/interrupter.sh 脚本中执行命令前会做一些包装,按照官方文档中的原生指令,这种包装是没问题的,但是由于我更改的指令里已经有echo了,两个echo指令叠加在一块就会导致命令提前被执行因而出现上面的错误.

ZEPPELIN_IMPERSONATE_RUN_CMD=$(eval "echo ${ZEPPELIN_IMPERSONATE_CMD} ")

解决方案就是将上面的指令改成:

ZEPPELIN_IMPERSONATE_RUN_CMD=$ZEPPELIN_IMPERSONATE_CMD
但这种方式毕竟只是权益之计,后续像官方jira反应希望能有更好的解决方案.

<think>好的,我现在要解决用户的问题:在Zeppelin中如何创建用户。首先,我需要回忆一下对Zeppelin的了解,以及用户提供的引用内容。用户给出的引用中提到了使用sudo useradd命令来创建用户,这似乎是一个关键点。 首先,根据引用[1],用户提到需要启动Zeppelin服务器的用户具有sudo权限,才能执行useradd命令。这说明创建用户可能需要通过系统命令,而不是Zeppelin自身提供的界面或功能。所以,用户可能需要直接在服务器上操作,而不是在Zeppelin的笔记本里完成。 接下来,我需要确认Zeppelin是否有内置的用户管理功能。根据已有的知识,Zeppelin默认情况下不提供用户管理系统,它通常依赖于外部认证方式,比如LDAP、Shiro或与Apache Knox集成。不过,用户这里的情况可能只是需要创建一个系统用户,以便Zeppelin服务能够以该用户身份运行或进行权限管理。 然后,用户提供的引用[1]中的命令是使用sudo useradd来创建用户,并指定了一些参数,比如-r创建系统用户-s /bin/nologin禁止登录shell。这可能是为了安全考虑,确保该用户仅用于运行服务,而不能直接登录系统。因此,正确的步骤可能包括使用这些命令创建用户,并确保Zeppelin服务有权限切换到该用户。 另外,引用[3]提到Zeppelin通过RemoteInterpreter启动不同的解释器进程,这可能涉及到用户权限的问题。如果Zeppelin以特定用户运行,解释器进程可能也会以该用户的权限执行,因此正确配置用户对于安全隔离很重要。 总结下来,创建用户的步骤应该是: 1. 使用sudo useradd命令创建系统用户。 2. 确保Zeppelin服务启动用户有sudo权限执行该命令。 3. 可能需要配置Zeppelin以使用新创建的用户运行解释器,这可能需要修改Zeppelin的配置文件,如zeppelin-site.xml中的相关参数。 需要注意的是,如果用户希望在Zeppelin的界面中添加用户管理,可能需要集成其他认证系统,如Shiro。但根据当前的问题,用户可能只需要创建系统用户,以便服务或解释器使用。 最后,验证步骤是否遗漏,比如检查用户是否成功创建,权限是否正确,以及Zeppelin配置是否需要调整。例如,在Zeppelin中配置impersonation功能,允许服务模拟其他用户执行任务,这可能涉及到zeppelin-env.sh中的设置,如export ZEPPELIN_IMPERSONATE_USER=true。</think>在Zeppelin中创建用户需要通过操作系统的用户管理工具实现,具体步骤如下: 1. **使用系统命令创建用户** 通过`useradd`命令创建系统用户(例如用户名为`zeppelin_user`): ```bash sudo useradd -r -s /bin/nologin zeppelin_user ``` 其中: - `-r`表示创建系统用户 - `-s /bin/nologin`禁止用户登录Shell(增强安全性)[^1] 2. **验证用户创建** 检查用户是否成功创建: ```bash id zeppelin_user ``` 3. **配置Zeppelin用户权限** 在`zeppelin-env.sh`中配置用户模拟功能(可选): ```bash export ZEPPELIN_IMPERSONATE_USER=true ``` 这允许Zeppelin以指定用户身份运行解释器进程[^3]。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值