hadoop2.2.0升级成hdfs ha后查询报java.net.UnknownHostException

最新推荐文章于 2022-04-19 12:45:42 发布
原创 最新推荐文章于 2022-04-19 12:45:42 发布 · 2.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文解决了一个Hadoop2.2.0升级到HDFSHA后出现的查询错误问题，错误提示为无法识别testcluster主机。通过在hdfs-site.xml文件中增加指定的配置项解决了此问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hadoop2.2.0升级成hdfs ha后查询报错： hadoop fs -ls /


17/11/16 16:17:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
-ls: java.net.UnknownHostException: testcluster

Usage: hadoop fs [generic options] -ls [-d] [-h] [-R] [<path> ...]


该错误是由于hdfs-site.xml中缺少以下配置所致
<property>
                   <name>dfs.client.failover.proxy.provider.testcluster</name>
                   <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

加上后重启集群正常

spark任务读取hdfs文件在hdfs HA模式时识别不了 UnknownHostExecption
weixin_42860281的博客
06-18 1619
spark任务读取hdfs文件在hdfs HA模式时识别不了 UnknownHostExecption ava.lang.IllegalArgumentException: java.net.UnknownHostException:ha at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.jav...
java.net.UnknownHostException: master
weixin_33816946的博客
11-18 1132
1：如果你报这个错误，第一反应应该是本地的host文件没有配置服务器名称和对应的ip地址，这个反应就对了。贴一下错误和解决方法： 1 java.net.UnknownHostException: master 2 at java.net.Inet6AddressImpl.lookupAllHostAddr(Native Method) 3 at java.net.I...
Windows下读hdfs数据时出现java.lang.IllegalArgumentException: java.net.UnknownHostException:
Ahuuua的博客
10-05 3432
配置文件这样子 问题是这样子： 。。。 解决方法： 是由于Windows下找不到Linux的主机名造成的。 一、将配置文件里的主机名都改成ip地址，例如 hdfs://192.168.0.101/user/superahua/hello.txt 或者 二、修改C:\Windows\System32\drivers\etc\hosts文件 在底部...
2020-11-9 高可用HA 解决配置HDFS HA fs.defaultFS 后 hive 抛错 UnknownHostException: mycluster
qq_44143557的博客
11-09 1078
在master hive的conf 中添加hive-site.xml 和 hdfs-site.xml 文件。
本地idea测试 spark读取本地文件放到ha hdfs 报UnknownHostException异常
cai453414953的博客
10-20 1120
本地idea测试时，遇到java.net.UnknownHostException报错 方案1：在resources目录下添加core-site.xml和hdfs-site.xml文件，（失败） 方案2：在代码中直接引入（成功） context = session.sparkContext context.hadoopConfiguration.set("fs.defaultFS", "hdfs://my_cluster") context.hadoopConfiguratio
在hdfs2.2.0上部署hbase
12-06 3256
文档说明 本文是在hadoop2.0（hdfs2.2.0）上部署hbase0.96版本时遇到的一些问题及其相应的解决办法。文中所述操作均在ubuntu10.04系统上进行。囿于作者水平有限，文章难免有错误简陋之处，欢迎读者朋友批评指正！ 1. 集群介绍 本文是在hadoop2.0上搭建hbase时遇到的一些问题，及其相应的解决办法。 hbase版本：0.96.0；hdfs版本：2.2.
Window使用idea操作spark连接hive
qq_42263866的博客
11-27 1621
首先说下这样做的好处，不用每次都打成jar包在集群测试，直接在本地就可以测试。   平台环境：hadoop 2.6.0-CDH5.7  Hive 1.1.0  Spark 1.6.0  Scala 2.11.5 项目环境：jdk 1.8  scala2.11.0 1.创建新工程 1.创建一个maven工程，不做赘述。 工程目录结构如下： 2.配置环境 1.左上角File -&g...
大数据平台hbase,phoenix,spark搭建和研发问题和解决方式汇总
weixin_43654136的博客
12-04 3649
#Q Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.tracing.SpanReceiverHost.get $A &lt;hadoop.version&gt;2.7.3&lt;/hadoop.version&gt; #Q Caused by: java.net.UnknownHostException: mycluster $...
Hadoop2.4.1集群搭建
站在网络的肩膀上,自学成才
02-27 3491
本文搭建Hadoop2.4.1分布式系统，包括NameNode ，ResourceManger HA，忽略了Web Application Proxy 和Job HistoryServer。  一概述（一）HDFS 1）基础架构 （1）NameNode（Master） 命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列
spark常见问题错误 汇总
我丶怀念的的博客
08-13 5811
  一.经验 1.Spark Streaming包含三种计算模式：nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeeper集群 3.Spark一切操作归根结底是对RDD的操作 4.部署Spark任务，不用拷贝整个架包，只需拷贝被修改的文件，然后在目标服务器上编译打包。 5.kafka的log.dirs不要设置成/tmp下的目录，貌似...
HDFS格式化失败，java.Net.UnknownHostException异常处理方法
user_lib的博客
04-15 3140
一、HDFS格式化失败 报错代码： WARN net.DNS: Unable to determine local hostname -falling back to "localhost" java.net.UnknownHostException: hadoop000: hadoop000 at java.net.InetAddress.getLocalHost(InetAddress.ja...
java开发hadoop报错误 java.net.UnknownHostException
m0_67394006的博客
04-19 4034
windows下开发的java程序报错 java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop01 查看linux配置都正确，然后发现windows下C:WindowsSystem32driversetchosts文件没有配置映射 添加映射 192.168.37.150 hadoop01 即 linux的IP地址 linux的主机名称 然后就解决啦！ ...
Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: testcluster
senvil的专栏
10-04 5060
把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
SSH常见异常笔记（3)
SIMBA1949的博客
01-10 1168
org.springframework.beans.factory.NoSuchBeanDefinitionException: No bean named 'depDaoImpl' is defined at org.springframework.beans.factory.support.DefaultListableBeanFactory.getBeanDefinition(Def
hdfs创建目录时出错：mkdir: java.net.UnknownHostException
weixin_49165958的博客
09-09 4429
今天我在使用集群的时候，发现了一个错误，无法创建文件。 报错提示如下： mkdir: java.net.UnknownHostException: 这个问题让我一直查询自己之前的配置文件，是否有错误，最后让我找到了原因： 查看文档：hdfs-site.xml，我的配置文件出现了错误， 原因是： <property> <name>dfs.client.failover.proxy.provider.ns</name> <value>org.apache
Hadoop格式化HDFS报错java.net.UnknownHostException
weixin_33843947的博客
05-09 121
2019独角兽企业重金招聘Python工程师标准>>> ...
hadoop格式化namenode出现“java.net.UnknownHostException: master: master: 未知的名称或服务”...
weixin_30675247的博客
12-25 536
出现此错误原因是系统无法解析master主机名，在hosts中配置master主机名。 sudo gedit /etc/hosts 将master追加至尾部： 运行命令重启网络： /etc/rc.d/init.d/network restart 此刻可以运行命令格式化namenode： hadoop namenode -format 结果如...
java报错找不到hdfscluster_flume与hdfs集成排雷指南
weixin_39688019的博客
03-01 358
先说一下环境，flume 1.9.0，hadoop 3.2.1，兼容没有问题，官方文档没什么好说的，足够详细，每一项后面都附带有例子，好评。但是在配置sink to hdfs的时候足足踩了不少雷，记录下来希望可以帮到更多的人。错误最常见的还是java.lang.NoClassDefFoundError异常，出现这个提示100%是因为flume缺少相应的组件包，下面分别说一下缺少的内容，找到对应ja...
Hadoop-格式化HDFS报错java.net.UnknownHostException: localhost.localdomain: localhost.localdomain
sunyx1130的专栏
03-08 400
明明在/etc/sysconfig/network中配置了hostname 通过 /etc/init.d/network restart重启了网络服务  这样的操作后，hostname依然不是自定义的。 直接通过hostname xxxx就可以修改了。 hostname改正确了，错误就不报了。成功完成了格式化。
HBase HA 集群启动 报错 java.net.UnknownHostException
最新发布
02-21
### HBase HA 集群启动时 `java.net.UnknownHostException` 错误解决方案 当遇到 `java.net.UnknownHostException` 错误时，通常意味着存在网络配置或主机名解析方面的问题。对于HBase HA集群而言，确保所有节点能够正确解析彼此的主机名至关重要。 #### 1. 检查并同步主机文件 确认 `/etc/hosts` 文件中的条目已正确定义了所有参与HA部署机器的IP地址与对应的主机名映射关系[^1]。这一步骤有助于防止因本地DNS服务不可靠而导致的名字解析失败情况发生。 #### 2. 复制必要的Hadoop配置至HBase环境 由于HBase依赖于底层HDFS存储系统工作，因此需要将Hadoop的相关配置文件（特别是 `core-site.xml` 和 `hdfs-site.xml`）复制到HBase安装路径下的 `conf` 目录内[^4]。这样做可以使得HBase客户端和服务端都能够获取到正确的分布式文件系统的访问参数设置。 #### 3. 修改HBase配置文件 编辑 `$HBASE_HOME/conf/hbase-env.sh` 及其他相关属性文件，确保其中涉及到网络通信的部分指向实际存在的服务器资源，并且这些名称可以在整个集群范围内被唯一识别出来。例如： ```bash export JAVA_OPTS="$JAVA_OPTS -Djava.security.krb5.conf=/path/to/krb5.conf" ``` 如果启用了Kerberos认证，则还需指定 Kerberos 的配置位置；另外还需要注意调整 JVM 启动选项来适应具体应用场景的需求。 #### 4. 更新 ZooKeeper 设置 考虑到ZooKeeper作为协调者在整个架构里的作用，应该仔细核对其配置项是否合理有效。比如，在 `zoo.cfg` 中定义的数据目录、监听端口以及成员列表等都应当保持一致性和准确性。 #### 5. 清理缓存重试操作 完成上述更改之后，建议重启涉及的服务组件以使新的设定生效。在此之前最好先清理掉可能残留的日志记录或其他临时数据，从而减少干扰因素的影响范围。 通过以上措施往往能有效地解决由 `java.net.UnknownHostException` 所引发的一系列问题，保障HBase HA集群稳定可靠地运行起来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值