zeppelin作为大数据的可视化组件,由于使用该组件的人比较少,网上的资料也比价少,安装配置过程中的阻力很大,经过两三天的探索,终于出成果了,zeppelin0.6.2与spark2.0.2组合配置。
安装配置过程说明:
1、解压zeppelin-0.6.2-bin-all.gz 到Linux中 ,更改conf目录中的zeppelin-site.xml.template zeppelin-en.sh.template 分别为zeppelin-site.xml zeppelin-en.sh zeppelin的默认端口为8080,假如有端口冲突,需要更改zeppelin-sitt.xml中的端口号
2、spark配置:将spark-* 、hadoop-lzo*.jar 等可能的依赖jar 拷入\zeppelin-0.6.2-bin-all\interpreter\spark\dep ,我用的是spark-core*、spark-sql*等。
3 、jdbc 配置:将hive*.jar等依赖jar拷入zeppelin\zeppelin-0.6.2-bin-all\interpreter\jdbc ;
4、hbase配置:将hbase-site.xml拷入\zeppelin-0.6.2-bin-all\conf目录下,不能拷贝core-site、hdfs-site ;将hbase的依赖jar包拷入\zeppelin-0.6.2-bin-all\interpreter\hbase目录下(删除原有的);
4、启动zeppelin :/bin/zeppelin-daemon.sh start
5、登陆zeppelin 8080端口配置interpreter配置:1 interpreter 搜索%spark 编辑: spark://master:7077,executer memory *G 、 executer cores * 保存;notebook 新建节点: %spark spark.version 验证spark 版本信息。2 interpreter 搜索%jdbc 配置响应的jdbc 、用户名、密码,对应的beeline可以登陆,jdbc就应该没有问题;注意一定要配置default hive 两个用户名,否则可能无法启动mr任务,只能select * 查询。3 配置 interpreter 搜索%hbase ,编辑 HBase_home 、ruby对应的目录就可以了
6、以上配置完成,就可以新建nootbook 开始测试了
上面只是简单的配置,大数据量测试与jdbc多活没有测试,不知道性能如何 具体使用调优就需要各位更改对应的zeppelin-en.sh参数了