用yarn提交pyspark程序

目录

首先验证sparkPi的demo可以运行成功

用yarn提交pyspark程序

继续提交pyspark程序，首先测试client方式

以cluster方式提交

命令行方式查看log

访问Application URL，查看job的DAG

Configurations

Running Web Application Proxy

yarn的RM起不来

访问Tracking URL

---

首先验证sparkPi的demo可以运行成功

如果这个跑不成功，检查下/usr/local/spark/conf/spark-env.sh里是否设置了yarn_conf_dir：

用yarn提交pyspark程序

报错：

异常信息：pyspark.sql.utils.AnalysisException: ‘java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;’

这个错误的意思是找不到存储hive元数据的客户端，而hive元数据的客户端是存储在mysql里的，所以连接不上。

为了验证这个问题，运行下hive。

运行hive也报错：

hive> show databases;
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

针对这个问题，通常是由于hive的服务断没有打开， 解决方法：

1）hive --service metastore &
2）然后Ctrl+C
3）再hive,进去，show databases;

继续提交pyspark程序，首先测试client方式

错误：user did not initialize spark context!

原因：

这是代码的问题，因为之前是用standalone的方式提交的，所以代码没有修改，还带着master。

而现在要用yarn提交，就不能在程序里再指定其他的master了。

代码修改后，client方式测试通过。

以cluster方式提交

成功。