windows本地调试hdfs java api踩坑记录

windows本地调试hdfs java api踩坑记录

windows bug

  1. bug描述及原因
    hadoop主要基于linux编写,所以如果直接在windows上运行,会抛异常。

  2. 解决方式

  • 下载并配置hadoop-winutils环境变量
HADOOP_HOME=D:\hadoop-common-2.2.0-bin-master
Path=%HADOOP_HOME%\bin
  • 将hadoop-winutils的bin目录下的hadoop.dll复制到 C:\windows\system32 目录下

外网无法访问hdfs文件系统

  1. bug描述及原因
  • 本地测试开发机器和服务器不在一个局域网
  • 安装的hadoop配置文件是以内网ip作为机器间通信的ip
  • 程序中配置namenode机器外网ip,此时namenode会将数据所在的机器ip地址提供给我们,用于访问数据传输服务,但是返回的是datanode内网的ip,我们无法根据该IP访问datanode服务器
  • 此时就会出现如下错误:
2020-09-22 17:43:36.773  WARN 18208 --- [           main] org.apache.hadoop.hdfs.DFSClient         : Failed to connect to /192.168.1.98:50010 for file /helloByJava/myUploadFile for block BP-49873749-192.168.1.7
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值