CDH6.2配置spark.yarn.jars目录

最新推荐文章于 2025-05-07 08:41:59 发布

白开水v5

最新推荐文章于 2025-05-07 08:41:59 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： cdh spark 文章标签： cdh spark yarn

本文链接：https://blog.youkuaiyun.com/xiongbingcool/article/details/100082877

在CDH6.2环境下配置Spark服务时，按照官方文档通过CM界面设置spark.yarn.jars未能成功覆盖默认属性。重启后节点配置未更新，目前采用软链接作为临时解决方案。若通过CM修改配置，需注意每次更新后重新创建软链。同时，发现可能的解决线索涉及元数据中的脚本和节点上的特定文件，考虑注释掉替换属性的内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

按照官网的文档采用以下操作即可：

进入CM界面
选择spark服务
配置搜索spark-defaults.conf
添加spark.yarn.jars=hdfs://ns1/user/spark/jars
部署客户端并重启

但实际重启后发现节点上的配置文件依然是默认属性，没有分发覆盖，具体还没找到解决办法。

暂时采用软链的方式，如果不得已在CM界面修改了配置并部署，则需要重新创建软链：

创建外部配置文件vi /data/common/conf/spark/spark-defaults.conf

# 默认配置
...
...

# yarn运行依赖jar
spark.yarn.jars=hdfs://ns1/user/spark/jars/spark/*,hdfs://ns1/user/spark/jars/hive/*,hdfs://ns1/user/spark/jars/dongao/*
# 编码问题
spark.driver.extraJavaOptions=-Dfile.encoding=utf-8
spark.executor.extraJavaOptions=-Dfile.encoding=utf-8

创建软链:

ln -s /data/common/conf/spark/spark-defaults.conf /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/spark/conf/spark-defaults.conf

线索（20190826 - 待验证）

在元数据（processes表）中查到spark使用的脚本csd/csd.sh

最低0.47元/天解锁文章

200万优质内容无限畅学