CDH6.2配置spark.yarn.jars目录

原创

于 2019-08-26 17:50:58 发布 · 1.9k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#cdh #spark #yarn

在CDH6.2环境下配置Spark服务时，按照官方文档通过CM界面设置spark.yarn.jars未能成功覆盖默认属性。重启后节点配置未更新，目前采用软链接作为临时解决方案。若通过CM修改配置，需注意每次更新后重新创建软链。同时，发现可能的解决线索涉及元数据中的脚本和节点上的特定文件，考虑注释掉替换属性的内容。

按照官网的文档采用以下操作即可：

进入CM界面
选择spark服务
配置搜索spark-defaults.conf
添加spark.yarn.jars=hdfs://ns1/user/spark/jars
部署客户端并重启

但实际重启后发现节点上的配置文件依然是默认属性，没有分发覆盖，具体还没找到解决办法。

暂时采用软链的方式，如果不得已在CM界面修改了配置并部署，则需要重新创建软链：

创建外部配置文件vi /data/common/conf/spark/spark-defaults.conf

# 默认配置
...
...

# yarn运行依赖jar
spark.yarn.jars=hdfs://ns1/user/spark/jars/spark/*,hdfs://ns1/user/spark/jars/hive/*,hdfs://ns1/user/spark/jars/dongao/*
# 编码问题
spark.driver.extraJavaOptions=-Dfile.encoding=utf-8
spark.executor.extraJavaOptions=-Dfile.encoding=utf-8

创建软链:

ln -s /data/common/conf/spark/spark-defaults.conf /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/spark/conf/spark-defaults.conf

线索（20190826 - 待验证）

在元数据（processes表）中查到spark使用的脚本csd/csd.sh

最低0.47元/天解锁文章

CDH6.2配置spark.yarn.jars目录

1 条评论