七、hadoop3.0以上无法访问端口50070的问题

问题描述:可以访问8088端口,无法访问50070端口
状态:每个节点都正常启动(伪分布式)
在这里插入图片描述

状态正常也就是说整个集群的运行状态是正常的,那访问不了50070端口的状况集群存在的问题的可能性较小,把这个问题优先级放到最后。

1、既然访问得了8088说明防火墙已经关闭或者防火墙开放了8088端口以及其他需要使用的端口

端口50070被开放了?

开放端口命令:firewall-cmd --zone=public --add-port=8088/tcp --permanent
关闭端口命令:firewall-cmd --zone= public --remove-port=50070/tcp --permanent
重载配置命令:firewall-cmd --reload

2、hadoop3.10以及把50070的默认端口修改为9870,注意查看和当前使用的hadoop版本对应的官方文档(重要!重要!!重要!!!)

在这里插入图片描述
顺便配置hdfs-site.xml文件,集群状态下将0.0.0.0改为主节点的hostname
在这里插入图片描述


我的问题及建议:要
### Hadoop 2.0Hadoop 3.0 分布式集群配置对比 #### 主要差异概述 Hadoop 3.0 是对 Hadoop 2.x 的一次重要升级,在性能、稳定性和功能上都有显著改进。两者的主要区别体现在架构优化、新特性支持以及默认配置的不同。 #### 软件获取与解压 对于两个版本而言,首先都需要从官方站点下载对应版本的压缩包并将其放置到服务器节点上的相同目录下: ```bash tar -zxvf hadoop-2.7.3.tar.gz # 解压Hadoop 2.0版本 tar -zxvf hadoop-3.2.2.tar.gz # 解压Hadoop 3.0版本 ``` #### 环境变量设置 无论是哪个版本,都建议将 `JAVA_HOME` 及 `HADOOP_HOME` 添加至环境变量中以便于命令行操作。需要注意的是,自 Hadoop 3 开始,默认不再依赖 Oracle JDK,而是可以兼容 OpenJDK[^1]。 #### 配置文件修改 这是两版之间最明显的不同之处之一。以下是主要配置项的变化情况: ##### core-site.xml 文件 此文件用于定义基本参数如临时路径等。在 Hadoop 3 中引入了一些新的属性来增强安全性和支持更多平台特性。 ##### hdfs-site.xml 文件 该文件主要用于设定 NameNode 和 DataNode 的具体行为。值得注意的是,Hadoop 3 改进了高可用机制(HA),使得 HA 更加容易部署和管理;同时增加了 Erasure Coding 功能以提高存储效率[^2]。 ##### yarn-site.xml 文件 YARN (Yet Another Resource Negotiator) 组件负责资源管理和调度工作负载的任务分配给各个计算节点执行。随着 Yarn API 接口不断成熟完善,Hadoop 3 提供了更好的多租户隔离能力和更灵活的应用程序框架集成方式。 ##### mapred-site.xml 文件 MapReduce 编程模型的相关选项在此处指定。尽管 MapReduce 已经不是唯一的大数据分析工具,但在某些场景下仍然被广泛采用。新版继续沿用了旧有的大部分配置键名,但也增加了一些针对性能调优的新参数。 #### 启动服务 完成上述准备工作之后就可以依次启动各组件的服务进程了。这里给出了一种通用的方法适用于大多数情况下快速验证安装成果的有效性: ```bash cd /opt/software/hadoop-2.7.3/sbin/ ./start-dfs.sh # 启动HDFS守护线程(NameNode/DataNodes) ./start-yarn.sh # 启动ResourceManager/NodeManagers # 或者对于Hadoop 3来说则是: cd /opt/software/hadoop-3.2.2/sbin/ ./start-all.sh # 这会自动启动所有必要的后台进程 ``` 另外还有一点要注意的就是防火墙规则开放相应端口号允许外部访问这些内部网络通信接口。 #### 测试数据上传 最后一步就是向刚刚建立起来的小型实验环境中导入一些样本资料来进行初步的功能检测: ```bash hdfs dfs -mkdir /user/root/input # 创建输入目录 hdfs dfs -put etc/hadoop/*.xml input # 将本地XML文档传入远端位置 ```
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值