zeppelin简单安装

zeppelin简单安装

1.配置java,maven等环境变量

• java

  export JAVA_HOME=/opt/servers/jdk1.8.0_141
  export PATH=$JAVA_HOME/bin:$PATH
  

• maven

  export MVN_HOME=/opt/servers/apache-maven-3.6.3
  export PATH=$MVN_HOME/bin:$PATH
  

  • maven在linux下的安装部署网址

    • ​ https://og.youkuaiyun.com/qq_38270106/article/details/97764483

    • 安装好maven后,在maven目录下添加repository目录,然后在setting.xml中指定本地仓库地址,和远程仓库地址,远程写成阿里云就可以

2.直接下载已经制作好的zeppelin与livy的parcel包

百度网盘:

链接：https://pan.baidu.com/s/1Gljiu6VuwIUXBb9RmtouRA
提取码：jalj

下载之后,我下面的步骤直接就是在root目录下进行的,到时候如果你有安装的话,按照我的思路来就可以了.

2.安装livy组件

• 因为安装zeppelin组件必须依赖于livy组件所以必须先安装livy

  将Parcel包和manifest.json文件部署到httpd服务中

  [root@node01 ~]# mkdir -p /var/www/html/livy
  [root@node01 ~]# cd /var/www/html/livy
   将 LIVY-0.5.0-el7.parcel,manifest.json放到livy目录下
  [root@node01 livy]# ll
  总用量 72276
  -rw-r--r-- 1 root root 74005950 6月  26 01:20 LIVY-0.5.0-el7.parcel
  -rw-r--r-- 1 root root      311 6月  26 01:20 manifest.json
  

  • 浏览器访问是否部署成功

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hDqDdzBU-1597135985006)(C:\Users\大永特烦恼\AppData\Roaming\Typora\typora-user-images\image-20200628231216685.png)]

• 将LIVY-0.5.0.jar,复制到cloudera-manager-server服务所在节点的/opt/cloudera/csd目录下

    [root@cdh-1 ~]# cd /opt/cloudera/csd/
  [root@cdh-1 csd]#ll
    总用量 32
    -rw-r--r-- 1 root root 5608 6月  28 10:51 LIVY-0.5.0.jar
  

• 重启cloudera-scm-server服务

    [root@cdh-1 ~]# systemctl restart cloudera-scm-server
  

• 配置远程Parcel存储库

  

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-V496Crps-1597135985008)(C:\Users\大永特烦恼\AppData\Roaming\Typora\typora-user-images\image-20200628231542501.png)]

  

  

• 一般到安装最后一步的时候，会出现如下的错误

  

  • 解决办法：

    在Livy REST Server所在服务器上增加livy用户及用户组

      groupadd livy
      useradd livy -g livy
      chown livy:livy /var/log/livy(这一步可做可不做)
    

    在HDFS的core-site.xml 中添加一下配置

      <property>
          <name>hadoop.proxyuser.livy.groups</name>
          <value>*</value>
      </property>
      <property>
          <name>hadoop.proxyuser.livy.hosts</name>
          <value>*</value>
      </property>
    

  从新启动就OK了

3.安装zeppelin

• 将 Parcel 包和 manifest.json 文件部署到 httpd 服务中

  [root@dy-1 html]# mkdir -p /var/www/html/zeppelin
  [root@dy-1 html]# cd /var/www/html/zeppelin
  

  将ZEPPELIN-0.8.0-el7.parcel和manifest.json方到zeppelin目录下

  [root@dy-1 zeppelin]# ll
  总用量 662788
  -rw-r--r-- 1 root root       316 8月  10 17:40 manifest.json
  -rw-r--r-- 1 root root 678690816 8月  11 15:23 ZEPPELIN-0.8.0-el7.parcel
  

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZRarTHZr-1597135985012)(C:\Users\大永特烦恼\AppData\Roaming\Typora\typora-user-images\image-20200810174242077.png)]

• 将ZEPPELIN-0.8.0.jar,放到cloudera-manager-server服务所在节点的 /opt/cloudera/csd 目录下

  [root@dy-1 zeppelin]#  cd /opt/cloudera/csd/
  [root@dy-1 csd]# ll
  总用量 20
  -rw-r--r-- 1 root root 5608 8月  10 16:41 LIVY-0.5.0.jar
  -rw-r--r-- 1 root root 9134 8月  10 17:43 ZEPPELIN-0.8.0.jar
  

• 配置远程Parcel存储库

  

• 重启cloudera-scm-server服务

  [root@dy-1 csd]# systemctl restart cloudera-scm-server.service 
  

• 重启之后,就可以看到zeppelin安装选项了

• 一路点击

• 到最后包如下的错

  • 解决办法

    ZEPPELIN --> 配置 --> 搜索 zeppelin_java_options --> 添加参数 -Xms1024m --> 重启ZEPPELIN 服务

    

• 报错二

  

  • 解决办法

    在 Zeppelin Server 服务所在的节点添加 zeppelin 用户和角色：

    [root@dy-3 log]# groupadd zeppelin
    [root@dy-3 log]# useradd zeppelin -g zeppelin
    

• 报错三

  

  解决办法

  ZEPPELIN --> 配置 --> 搜索 dir --> 修改配置 --> 重启ZEPPELIN 服务

  修改 zeppelin.config.fs.dir 和 zeppelin.notebook.dir 配置为 hdfs 路径 (namenode节点在dy-2上)
  

  然后根据cloudera manager web界面提示重启,重启以后就看到一切正常了