二十五：Caused by: java.net.UnknownHostException: nameservice1(CDH 5.14 部署spark2第一次运行报错)

最新推荐文章于 2024-12-10 00:46:32 发布

原创最新推荐文章于 2024-12-10 00:46:32 发布 · 2.7k 阅读

1 ·

CC 4.0 BY-SA版权

SparkCore 专栏收录该内容

3 篇文章

订阅专栏

在CDH 5.14环境下部署Spark2后，运行程序出现`java.net.UnknownHostException: nameservice1`错误。分析发现是配置问题，解决方法是将`hdfs-site.xml`复制到Spark2的配置目录，确保Spark2能正确找到Hadoop的配置路径。

一：问题描述：

CDH 5.14部署好spark2后，写了个WC统计程序，并写了如下执行语句：

$SPARK_HOME/bin/spark2-submit \
--master local[2] \
--class com.weizonggui.core03.SparkContextApp \
--name WCApp \
/home/hadoop/G5-Spark-1.0.jar \
hdfs://hadoop002:8020/logs/input/text.txt  hdfs://hadoop002:8020/logs/output

执行失败：Caused by: java.net.UnknownHostException: nameservice1

二：问题分析：

参考下一篇博文：

三：问题解决：

java.net.UnknownHostException: nameservice1异常，找不到正确的路径：

cp hdfs-site.xml /opt/cloudera/parcels/SPARK2/lib/spark2/conf

首选明白：hadoop的配置路径：/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop
spark2的配置路径： /opt/cloudera/parcels/SPARK2/lib/spark2/conf

相应配置如下：

<?xml version="1.0" encoding="UTF-8"?>

<!--Autogenerated by Cloudera Manager-->
<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>nameservice1</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.nameservice1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <property>
    <name>dfs.ha.automatic-failover.enabled.nameservice1</name>
    <value>true</value>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
  </property>