Zeppelin整合Spark3.2.2 yarnClient模式

1. 解压zeppelin

2. 进入conf目录配置zeppelin-site.xml

   先把zeppelin-site.xml.template拷贝一份防止修改错误没有副本了

   命令如下：cp zeppelin-site.xml.template zeppelin-site.xml

   vim zeppelin-site.xml

   <property>
     <name>zeppelin.server.addr</name>
     <value>127.0.0.1</value>
     <description>Server binding address</description>
   </property>
   
   <property>
     <name>zeppelin.server.port</name>
     <value>8080</value>
     <description>Server port.</description>
   </property>
   
   

   如果上面的内容不修改，启动后默认走8080端口，而且只能在本地访问

   需要修改为如下内容：

   <property>
     <name>zeppelin.server.addr</name>
     <value>0.0.0.0</value>
     <description>Server binding address</description>
   </property>
   
   <property>
     <name>zeppelin.server.port</name>
     <value>8089</value>
     <description>Server port.</description>
   </property>
   
   

   zeppelin.server.addr 为 0.0.0.0 代表本地和远程都可以访问

   zeppelin.server.port 指定对应的端口号，这里为8089

   3.配置zeppelin-env.sh

   同理，拷贝zeppelin-env.sh.template并改名为zeppelin-env.sh

   打开添加如下内容(修改成自己的配置)：

   export JAVA_HOME=/usr/java/jdk1.8.0_291
   export SPARK_MASTER=yarn-client
   export SPARK_HOME=/opt/module/spark-3.2.2
   export SPARK_SUBMIT_OPTIONS="--master yarn --deploy-mode client --driver-memory 512M --executor-memory 1G --executor-cores 2"
   export HADOOP_CONF_DIR=/opt/module/hadoop-3.2.2/etc/hadoop
   

   JAVA_HOME为java环境变量

   SPARK_MASTER 为spark的提交模式

   SPARK_HOME外spark的环境变量

   SPARK_SUBMIT_OPTIONS为提交spark任务的参数

   HADOOP_CONF_DIR为hadoop的环境变量HADOOP_CONF_DIR

   4.重启zeppelin，进入bin目录

   命令：./zeppelin-daemon.sh restart

   5.进入zeppelin web页面配置spark interpreter

   点击右上角的edit修改三项内容，分别为：

   SPARK_HOME：/opt/module/spark-3.2.2

   spark.master ：yarn

   spark.submit.deployMode ：client

   在最下面左侧点击Save按钮保存即可