HDFS 本地编程报错java.net.ConnectException: Call From LAPTOP-LJF22VB3/192.168.56.1 to 192.168

通过 Hadoop 本机编程中关于虚拟机和本地主机通信的知识点

起因

本地主机编写相应的代码后运行发现报错,java.net.ConnectException: Call From LAPTOP-LJF22VB3/192.168.56.1 to 192.168,这是因为 Hadoop core-site.xml 其中的 fs.defaultFS 设置为 hdfs://localhost:9000,fs.defaultFS 配置错误,这是导致本机不能访问 Hadoop 9000 端口的根本原因

原因

上面将了根本原因,是因为 fs.defaultFS 配置为 localhost(127.0.0.1),这导致虚拟机上的 9000 端口只能由虚拟机访问,而本机在 IDEA 上调用时无法访问虚拟机的该端口,即使虚拟机的 ip 和本地主机是同一网段

此时本地主机是 192.168.43.1,而虚拟机的 ip 是 192.168.43.18,两台机子是同一网段

通过 netstat -tupnl 命令可以查看端口使用详情,下面有一张 Hadoop 运行时的网络图片

IMG

由上图可以看见 9000 端口只有虚拟机可以访问

另一种情况

虚拟机 IP 和本机处在同一网段但是仍然 Ping 不通

后面使用的时候又遇到连不上的情况,但是原因不同

在这里插入图片描述

注意看上图的 VMnet8,这是 VM 创建的虚拟网卡,Nat 模式下 VMnet8 的 IPV4 地址必须和虚拟机的 ip 在同一个网段(ifconfig 可以查看 ip),这里为了简便我把电脑 VMnet 8 的网段设置为静态的,默认就是 192.168.43.1,子网掩码是 255.255.255.0,这里虚拟机里的 IP 只要前三个数字一样就是同一网段(子网掩码和 IP 通过计算得出的,可以自己百度),具体设置如下(理论上来说 VM 里面也是可以配的)

在这里插入图片描述

注意,我这里 VMnet8 已经和虚拟机处在同一网段,都是 192.168.43,但是仍然无法通信,这里具体原因不知道是什么,但是解决方法还是有点,比较麻烦,在下面有讲

解决方法

其实解决方法已经很明显,只要让 9000 端口能让本地主机访问就行了,所以解决方法有两个

  1. core-site.xml,直接配置你当前的 IP,不放过需要注意的是你这个 IP 不能经常变,本地主机一旦换了个网络,IP 就会随机分配一个,所以这个方案,只适用与网络固定的时候,比如你的本地主机只用一条网线或者一台路由器
  2. /etc/hosts 修改,core-site.xml 设置一个你中意的名字,比如 hadoop01,然后在 hosts 文件中添加映射,也就是路由表中添加映射(涉及到一点点计网知识),这样 hado
### Hadoop集群中NameNode和DataNode配置导致的Java连接异常解决方案 在Hadoop集群环境中,`java.net.ConnectException: Connection refused` 通常表明客户端尝试连接到某个服务(如NameNode或DataNode)时失败。以下是可能导致该问题的原因及解决方案: #### 1. 检查NameNode和DataNode的启动状态 确保Hadoop集群中的NameNode和DataNode服务已正确启动。可以通过以下命令检查服务状态: ```bash jps ``` 如果NameNode或DataNode未出现在输出中,则需要重新启动相关服务: ```bash start-dfs.sh ``` 此外,可以查看日志文件以获取更多详细信息,路径通常为 `${HADOOP_HOME}/logs/` [^1]。 #### 2. 配置文件检查 Hadoop的核心配置文件 `core-site.xml` 和 `hdfs-site.xml` 的设置可能存在问题。以下是关键配置项及其正确值: - **core-site.xml**: 确保 FileSystem URI 配置正确: ```xml <property> <name>fs.defaultFS</name> <value>hdfs://<namenode-host>:9000</value> </property> ``` 替换 `<namenode-host>` 为实际的NameNode主机名或IP地址 [^3]。 - **hdfs-site.xml**: 确保 NameNode 和 DataNode 的副本策略及其他参数正确: ```xml <property> <name>dfs.replication</name> <value>3</value> </property> ``` #### 3. 端口冲突或防火墙限制 端口冲突或防火墙规则可能导致连接被拒绝。根据Hadoop版本,以下端口需开放: - **Hadoop 1.x**: NameNode 使用端口 `8020`。 - **Hadoop 2.x**: NameNode 使用端口 `9000`,DataNode 使用其他默认端口 [^3]。 检查防火墙设置并确保这些端口未被阻止: ```bash sudo ufw allow 9000/tcp sudo ufw allow 50070/tcp ``` #### 4. HDFS格式化问题 如果HDFS尚未格式化或存在元数据损坏,可能会导致连接异常。重新格式化HDFS(注意:此操作会清除所有数据): ```bash hdfs namenode -format ``` 之后重启Hadoop服务 [^2]。 #### 5. 数据节点与名称节点通信异常 如果DataNode无法与NameNode正常通信,也可能导致连接异常。检查DataNode的日志文件,确保其能够成功注册到NameNode。常见的错误包括: - DataNode存储目录权限问题。 - 配置文件中 `dfs.datanode.data.dir` 路径存在或可写。 解决方法: - 确保DataNode存储目录存在且权限正确: ```bash mkdir -p /path/to/datanode chmod 755 /path/to/datanode ``` - 在 `hdfs-site.xml` 中配置正确的存储路径: ```xml <property> <name>dfs.datanode.data.dir</name> <value>/path/to/datanode</value> </property> ``` #### 6. 客户端配置错误 如果客户端的 `core-site.xml` 或 `hdfs-site.xml` 文件未正确配置,也会导致连接失败。确保客户端机器上的配置文件与服务器端一致 [^4]。 --- ### 示例代码:测试HDFS连接 以下是一个简单的Java程序,用于测试HDFS连接是否正常: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSConnectionTest { public static void main(String[] args) { try { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://<namenode-host>:9000"); FileSystem fs = FileSystem.get(conf); System.out.println("Connected to HDFS successfully."); fs.close(); } catch (Exception e) { e.printStackTrace(); } } } ``` 将 `<namenode-host>` 替换为实际的NameNode主机名或IP地址。 --- ###
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值