腾迅云服务器搭建hadoop 8088 端口打不开

Hadoop启用后公网  IP:9870  可以访问到页面

公网  IP:8088 访问不到页hosts

之前一直以为问题是/etc/hosts的问题,就一直修改hostsname映射的ip.  改来改去8088还是访问不了  。最后索性不动了。

 重点在这:通过  netstat -anp |grep 8088 命令发现端口8088 被127.0.0.1占用。由于在腾讯云服务器,我想用公网IP访问。在yarn-site.xml 中把value值由之前的hostname 改成自己的内网地址,重启yarn,问题就解决的。

 当然有大佬知道怎么修改hosts,解决该问题,欢迎留言

 

 

### 三、准备工作 在搭建Hadoop环境之前,需要确保云服务器已满足以下条件: - **操作系统**:通常选择Linux系统,如Ubuntu或CentOS,这些系统提供了良好的Hadoop支持。 - **Java环境**:Hadoop是基于Java的框架,因此需要安装Java运行环境(JRE)或Java开发工具包(JDK)。 - **SSH服务**:为了实现节点间的通信和管理,需要开启SSH服务,并配置免密登录。 - **网络配置**:确保所有节点之间可以互相访问,并且防火墙规则允许Hadoop所需端口的通信。 ### 三、安装Hadoop 从Apache Hadoop官方网站下载最新版本的Hadoop。解压后,需要对几个关键配置文件进行修改,以适应集群环境的需求。这些文件通常位于Hadoop安装目录下的`etc/hadoop`子目录中。 ### 三、配置Hadoop 配置Hadoop涉及修改多个配置文件,包括但不限于: - **core-site.xml**:设置Hadoop的核心配置,如临时目录和HDFS的默认地址。 - **hdfs-site.xml**:配置HDFS的副本数量、数据存储路径等。 - **yarn-site.xml**:设置YARN的资源管理和调度参数。 - **mapred-site.xml**:配置MapReduce框架的运行参数。 ### 三、启动Hadoop 完成配置后,可以启动Hadoop集群。首先格式化HDFS文件系统,然后启动HDFS和YARN服务。可以通过执行以下命令来完成这一过程: ```bash # 格式化HDFS hadoop namenode -format # 启动HDFS start-dfs.sh # 启动YARN start-yarn.sh ``` ### 三、验证安装 启动完成后,可以通过访问Hadoop的Web界面来验证安装是否成功。HDFS的Web界面通常位于`http://<namenode-host>:50070`,而YARN的Web界面则位于`http://<resourcemanager-host>:8088`。 ### 三、优化与安全 为了确保Hadoop集群的安全性和性能,可以采取以下措施: - **配置SSH免密登录**:通过生成SSH密钥对,并将公钥添加到所有节点的`~/.ssh/authorized_keys`文件中,实现节点间的免密登录。 - **调整JVM参数**:根据集群的硬件配置和工作负载,合理调整JVM参数,以优化性能。 - **定期备份**:定期备份Hadoop配置文件和重要数据,以防数据丢失。 - **监控与日志**:使用监控工具跟踪集群的健康状况和性能指标,同时定期检查日志文件,以便及时发现和解决问题。 ###
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值