zeppelin,hadoop,spark 运行失败解决

最新推荐文章于 2022-10-05 22:27:06 发布

原创最新推荐文章于 2022-10-05 22:27:06 发布 · 931 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop

zeppelin 专栏收录该内容

1 篇文章

订阅专栏

本文解决运行Zeppelin0.6.x版本时出现的错误，包括java.lang.NoSuchMethodError和SparkError等问题，并介绍了如何为Zeppelin添加用户名密码登录功能。

运行zeppelin 0.6.×时遇到问题：（0.7.*不需要下面的步骤的）
1. java.lang.NoSuchMethodError: org.apache.hadoop.tracing.SpanReceiverHost.get(Lorg/apache/hadoop/conf/

solution：
cd zeppelin-0.6.2-bin-all/lib
rm hadoop-annotations-×××.jar
rm hadoop-auth-×××.jar
rm hadoop-common-×××.jar

cp spark/jars/hadoop-annotations-×××.jar ./
cp spark/jars/hadoop-auth-×××.jar ./
cp spark/jars/hadoop-common-×××.jar ./

重启zeppelin 又出现下面问题：
2. Spark Error: Could not initialize class org.apache.spark.rdd.RDDOperationScope
solution：
cd zeppelin-0.6.2-bin-all/lib
rm jackson-annotations-×××.jar
rm jackson-core-×××.jar
rm jackson-databind-×××.jar

cp spark/jars/jackson-databind-×××.jar ./
cp spark/jars/jackson-core-×××.jar ./
cp spark/jars/jackson-annotations-×××.jar ./

再重启zeppelin 解决问题，删完拷完后一定要重启zeppelin

-----------------------------------------------------------------------------------------------------------------------------------------

zeppelin 加上用户名密码登入功能，需要修改配置
conf/shiro.ini [urls] 改成如下所示
[urls]
#/api/version = anon
/api/interpreter/** = authc, roles[admin]
/api/configurations/** = authc, roles[admin]
/api/credential/** = authc, roles[admin]
#/** = anon
/** = authc

在[users] 下添加用户名和密码和roles，roles 没啥用

在conf/zeppelin-site.xml
修改下面这项：
<property>
<name>zeppelin.anonymous.allowed</name>
<value>false</value>
<description>Anonymous user allowed by default</description>
</property>

修改完配置就得重启才能生效