云服务器搭建Hadoop分布式

已于 2023-11-14 15:44:29 修改
阅读量2k 收藏 1
点赞数
分类专栏： hadoop 文章标签： 分布式 服务器 hadoop
于 2023-10-22 22:47:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44911248/article/details/133979585
版权

文章目录

云服务器搭建hadoop分布式

1.服务器配置

服务器主机名配置
115.157.197.82s110核
115.157.197.84s210核
115.157.197.109s310核
115.157.197.31s410核
115.157.197.60gracal10核

所有的软件安装在/opt/module下，软件安装包在/opt/softs下

2.Java环境

  • 所有的服务器的java统一1.8版本，查看java版本

    java --version

    • ​ 若存在java环境不统一，或者没有1.8版本的jdk

      • 无1.8版本的java

         yum install -y java-1.8.0-openjdk*

      • 环境不统一

        #查看java版本
alternates --config java
#选择1.8版本的数字

​

相关的JAVA_HOME、Hadoop_HOME环境变量都保存在/etc/profile.d/my_env.sh中

image-20231020175203487

3. 安装Hadoop

  • 确保Hadoop统一版本：hadoop3.1.3
  • 编写文件分发脚本，可以在一台服务器分发到其他服务器：xsync脚本，在 / h o m e / g a o c h u c h u / b i n /home/gaochuchu/bin /home/gaochuchu/bin目录下

4. 集群配置

  • 各个组件的分布情况
s1s2s3s4gracal
HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNodeDataNodeDataNode
YARNNodeManagerResourceManager NodeManagerNodeManagerNodeManagerNodeManager

  • 常用端口配置 （分Hadoop2.x和Hadoop3.x的区别）

    端口名称Hadoop2.xHadoop3.x
    NameNode内部通信端口8020/90008020/
    NameNode HTTP UI500709870
    MapReduce查看执行任务端口80888088（容易和框架端口冲突，本文配置的7666）
    历史服务器通信端口1988819888

  • 在客户端机器（笔记本）配置ip和服务器主机名的映射，希望能通过主机名+端口号在浏览器访问各个Web页面

    • 问题：通过s2:7666无法访问ResourceManger的web UI，而通过直接的ip:7666又可以访问其webUI

      • 遇到这个问题我无法理解为什么会出问题

      • 漫长的排错过程：

        • 1.检查了服务器之间的ip和主机名的映射，各个服务器主机之间通过主机名可以ping通，说明映射没有问题，

        • 2.检查客户端mac本机的hosts文件映射未发现问题，并且在客户端的终端也能ping通各个主机名，说明映射没有问题

        • 3.且查看各个服务器的防火墙也处于关闭状态

        • 4.通过netstat -nltp|grep 7666查看端口的监听情况，也是正常监听状态

        • 5.在网上搜索很多相关解决方案：关闭防火墙，设置etc/sysconfig/selinux的级别为disable，都没有结果

        • 因此，我认为应该在客户端本机出现问题，验证问题过程

          6.1 发现在本地主机telnet s2 7666可以成功访问，但是curl s2:7666没有输出页面的任何信息

          6.2 使用cur -v s2:7666查看相关信息

          image-20231022220729482

          • 发生地址的重定位，然后使用命令curl -v http://s2:7666/cluser

            成功返回了相关的html信息，说明页面其实是可以访问的

          6.3 但是浏览器端还是无法访问：后查询到浏览器可能配置了代理服务器，而’curl’命令未配置代理。代理服务器会烦扰浏览器的访问。

          因此我关闭了VPN代理，成功访问到s2:7666页面！！

          以后VPN代理一定要慎用！！！排查了这么久发现最后居然是代理问题

  • 启动集群测试

    • 启动HDFS

      [gaochuchu@s1 hadoop-3.1.3]$ sbin/start-dfs.sh

    • 启动YARN

      [gaochuchu@s1 hadoop-3.1.3]$ sbin/start-yarn.sh

      • 问题：

        image-20231020173832878

      • 解决：

        • 这里的hadoop是root用户创建的hadoop，本地用户无权限
        • 修改环境变量/etc/profile，注释配置的HADOOP_HOME,重新source

  • 关闭YARN的时候警告

    gracal: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9
s4: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9
s1: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9
s3: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9
Stopping resourcemanager

    解决方案：

    由于YARN也还是能够关闭，但是是通过kill -9的方式进行杀死进程，这种方式其实很暴力，会导致数据的丢失

    查看报错各个节点的node manager日志：

    发现nodemanager上报错：

    2023-11-13 07:47:51,005 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeManager: RECEIVED SIGNAL 15: SIGTERM

    resourcemanager的日志显示：

    2023-11-13 07:47:57,886 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted 2023-11-13 07:47:57,903 ERROR org.apache.hadoop.yarn.event.EventDispatcher: Returning, interrupted : java.lang.InterruptedException

    排错过程：

    • 首先知道表明 NodeManager 收到了 SIGTERM 信号，这是一个标准的终止进程的请求。这通常是在您尝试停止 Hadoop 服务时发送的信号。说明这是kill 进程产生的信号

    • Resource manager表明在停止过程中，ResourceManager 中的某些线程被中断了。这通常发生在服务停止时，正在运行的线程被强制中断以关闭服务。这些信息表明在停止过程中，并没有出现异常行为。当你发送停止命令时，系统会尝试优雅地关闭所有服务，但如果某些服务或线程无法在给定的时间内完成其关闭流程，系统会发送 SIGTERM 信号来强制关闭它们。

    • 之后查找到did not stop gracefully after 5 seconds: Trying to kill with kill -9执行函数所在的脚本，通过stop-yarn.sh 调用yarn-daemon.sh,又调用了libexec/hadoop-functions.sh

      function hadoop_stop_daemon
{
  local cmd=$1
  local pidfile=$2
  shift 2

  local pid
  local cur_pid

  if [[ -f "${pidfile}" ]]; then
    pid=$(cat "$pidfile")
    kill "${pid}"

    wait_process_to_die_or_timeout "${pid}" "${HADOOP_STOP_TIMEOUT}"

    if kill -0 "${pid}" > /dev/null 2>&1; then
      hadoop_error "WARNING: ${cmd} did not stop gracefully after ${HADOOP_STOP_TIMEOUT} seconds: Trying to kill with kill -9"
      kill -9 "${pid}" >/dev/null 2>&1
    fi
    wait_process_to_die_or_timeout "${pid}" "${HADOOP_STOP_TIMEOUT}"
    if ps -p "${pid}" > /dev/null 2>&1; then
      hadoop_error "ERROR: Unable to kill ${pid}"
    else
      cur_pid=$(cat "$pidfile")
      if [[ "${pid}" = "${cur_pid}" ]]; then
        rm -f "${pidfile}" >/dev/null 2>&1
      else
        hadoop_error "WARNING: pid has changed for ${cmd}, skip deleting pid file"
      fi
    fi
  fi
}

      从上述方法中看出，首先尝试使用常规的 kill 命令发送 SIGTERM 信号给进程，然后等待一定的时间（HADOOP_STOP_TIMEOUT），如果进程仍然存在，则使用 kill -9 发送 SIGKILL 信号强制停止进程。如果该脚本总是使用 kill -9 而不是正常的 kill

    • 首先排查pid是否为自己设置的pid地址，由于默认的pid是在/tmp目录下，但是tmp目录下的东西是会定期清理的，因此在hadoop-env.sh和yarn-env.sh中配置了新的pid地址，为$HADOOP_HOME/pid。修改脚本，检查打印的pid是否为该目录；检查pid目录位置无错

    • 增加超时时间，但是无论将超时时间设置为10秒，15秒，或者更长，仍然报相同的错误kill -9

    • 而且观察到resource manager所在的节点的nodemanager正常关闭；这就说明resourcemanager和其他节点的nodemanager的通信被阻碍，导致了其他节点只能通过kill -9暴力关闭

    • 查看resource manager日志发现几个端口，其中8031端口的作用为：NodeManager 使用此端口与 ResourceManager 进行通信以报告节点资源使用情况。但是resource manager所在的节点防火墙没有开启8031端口，这就导致了其他节点无法与其进行通信。

      image-20231114143900258

    • 解决，开启8031端口

      sudo firewall-cmd --add-port=8031/tcp --permanent
sudo firewall-cmd --reload
#查看开放的端口
sudo firewall-cmd --list-ports

    • 另外NodeManager Localizer的默认端口地址为8040，用于管理节点上的资源本地化，此时8040端口已被使用，因此在yarn-site.xml中配置新端口

      <property>
 <name>yarn.nodemanager.localizer.address</name>
    <value>0.0.0.0:8050</value>
</property>

      还是建议将服务器的防火墙暂时关闭，因为hadoop的节点之间的网络通信涉及了太多复杂的端口，原先按照开放端口的方式不足以应对通信过程中可能产生的端口号，导致运行MR程序卡顿

  • 运行hadoop自带的wordcount示例程序报错，并且一直卡在Running Job位置，报错信息如下：

    java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as [某ip]:9866
	at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:134)
	at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:110)
	at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1778)
	at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1679)
	at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:716)
  
  ......
  
  Caused by: java.net.NoRouteToHostException: No route to host
	at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
	at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:716)
	at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
	at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
	at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:700)
	at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:804)
	at org.apache.hadoop.ipc.Client$Connection.access$3800(Client.java:421)
	at org.apache.hadoop.ipc.Client.getConnection(Client.java:1606)
	at org.apache.hadoop.ipc.Client.call(Client.java:1435)
	... 19 more

    • 如何解决这种问题？

      • 注意报错信息:No route to host ,说明没有到host的路由，排查思路，确定与对应服务器端口是否联通

      • 首先测试某ip自身9866端口是否联通，说明联通

        image-20231020235145661

        说明s1服务器和…31:9866可能是不连通的

      • 经查找相关资料说明是…31服务器的icmp(Internet Control Message Protocol)被禁用导致

        命令查看iptable是否有防火墙设置：

        iptables -L INPUT --line-numbers

        发现：

        image-20231020233954593

        命令删除这条记录：

        iptables -D INPUT 28

5. 编写集群的启动脚本

  • 因为每次集群启动需要在NameNode节点的HADOOPHOME目录下使用命令启动HDFS

    sbin/start-dfs.sh

  • 在Yarn节点上通过命令启动Yarn（ResourceManager）

     sbin/start-yarn.sh

  • 配置了历史服务器，还需要在历史服务器的节点上使用命令启动历史服务器

    mapred --daemon start historyserver

  • 相应的停止集群也需要通过以下三个命令来停止集群

    sbin/stop-dfs.sh
sbin/stop-yarn.sh
mapred --daemon stop historyserver

  • 因此,可以编写相关的脚本启停（HDFS Yarn Historyserver）

    • 在/home/gaochuchu/bin 目录下编写myhadoop.sh脚本启停Hadoop集群

      #启动Hadoop集群
myhadoop.sh start
#停止Hadoop集群
myhadoop.sh stop

  • 服务器各节点的状态都需要通过在笔不同服务器上通过jps命令查看，比较麻烦

    • 在/home/gaochuchu/bin 目录下编写jpsall脚本，可以查看所有服务器上的节点状态
大数据开发---阿里云ECS上搭建Hadoop伪分布式环境（上篇）
weixin_37427992的博客
12-21 1062
本文以hadoop-3.3.1.tar.gz 与jdk-8u261-windows-x64.zip为例，来搭建Hadoop开发环境。”里的 “/home/jdk1.8.0/jdk1.8.0_261”下面有：bin,include,jre...javafx-src.zip等完整的目录，证明第一大步----JDK的安装已成功迈出。：由于我以前在远程服务器（阿里云ECS）上的“/home/jdk1.8.0”目录下安装过jre,故此处先删除掉“jre1.8.0_261”目录及该目录下所有的文件，在。
腾讯云搭建伪分布式Hadoop集群
Beans___Lee的博客
03-29 677
所谓伪分布式模式，就是一种单机模式。实际情况中只有一个节点（主机），适合于学习，但不适用于实际的开发环境。这也是官方提供的模式之一。具体的配置过程也可以参照https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 环境： 腾讯云服务器一台（单核2G内存，...
hadoop云服务器环境搭建
05-08
hadoop云服务器环境搭建，自己写的文档，亲测可用，方便初学者搭建hadoop云服务环境
云服务器搭建Hadoop
qq_43054104的博客
04-03 379
Hadoop伪分布式集群的安装部署 【主要看这个】 https://blog.youkuaiyun.com/devcloud/article/details/96437988 最详细云服务器Centos7下搭建Hadoop伪分布式集群(防各种坑) 【主要看了配置文件】 https://www.jianshu.com/p/59fe6cdba293?tdsourcetag=s_pcqq_aiomsg //可以但是...
基于云服务器配置Hadoop集群
echolili123的博客
03-08 667
谢谢支持
云服务器搭建hadoop集群
Willian
05-13 3868
1：环境准备 3台服务器配置如下公网ip 119.29.186.83 内网ip10.104.157.113 公网ip 119.29.250.47 内网ip 10.104.9.181 公网ip 119.29.251.99 内网ip 10.104.196.48 以上全是centos 7.22：配置hostname 在3台机器上分别执行//主服务器 vim /etc/sysconfig
云服务器搭建Hadoop集群
weixin_42141873的博客
04-18 5273
云服务器搭建Hadoop集群一、配置服务器1. 创建普通用户2. 安装 Java 环境3.安装hadoop4.网络配置5.hadoop配置 一、配置服务器 1. 创建普通用户 说明：由于 root 环境下操作比较危险，所以这里新建一个普通用户来进行 hadoop 的搭建。 创建一个普通用户 hadoop sudo useradd -m hadoop -s /bin/bash 设置密码并重复一次 sudo passwd hadoop 给 hadoop 用户增加 sudo 管理员权限 sudo addu
实验2 基于华为云的Hadoop分布式系统搭建1
08-08
【实验名称】基于华为云的Hadoop分布式系统搭建1 【实验目的】 1. 学习和理解华为云平台的基本操作和资源管理，包括如何在华为云控制台上创建和管理弹性云服务器。 2. 掌握分布式文件系统HDFS（Hadoop Distributed...
云服务器搭建 hadoop集群(全过程详解&解决碰到的问题)
m0_45311187的博客
03-01 8433
采用三台真实的部署在公网的服务器(系统为centos)搭建hadoop集群。（两台腾讯云，一台阿里云）包含jdk，hadoop的安装，配置环境变量，配置hadoop配置文件，初始化，启动。云服务器搭建hadoop集群。hadoop cluster cloud。
云服务器搭建HADOOP集群
weixin_39491881的博客
04-25 437
百度云服务器安装HADOOP集群目录云服务器配置1. **设置安全组**2. **服务器配置**> 关闭防火墙和selinux 配置/etc/hosts> 创建hdp用户，设置主机互信> 配置sudo> 编写xcall ,xrsync 文件3. **软件安装**> 安装JDK> 安装hadoop> hadoop目录结构4.**HADOOP配置文件**> core-site.xml> hdfs-site.xml> mapred-site.xml&gt
云服务器大数据高可用集群搭建-----hadoop篇
a_dreaming的博客
12-06 5284
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 【注意】主要记录自己在云端服务器搭建个人用hadoop集群过程 新的改变 我们对Markdo
Hadoop环境搭建之伪分布式运行模式
12-23 1192
搭建Hadoop环境搭建Hadoop环境一、开通阿里云ECS服务器二、连接服务器三、安装JDK四、安装Hadoop五、配置Hadoop（伪分布式运行模式）六、配置SSH免密登录七、启动Hadoop 搭建Hadoop环境 一、开通阿里云ECS服务器 1.创建实例 2.实例创建完成后，列表如下 二、连接服务器 1.打开系统自带的终端工具。 Windows: PowerShell Ubuntu: Terminal 2.在终端中输入连接命令ssh [username]@[ipaddress]。需要将其中的use
搭建分布式Hadoop(只有HDFS)集群，跨阿里云和腾讯云
Mr_Xu的博客
06-07 4278
又几个月没写过文章了，今天随便写一写吧。由于实际需要需要研读HDFS的源码，最好的方法就是加一些日志看NameNode是怎么运行的，又经常在外面，所以就需要在公网上搭一个分布式的Hadoop（只有HDFS）集群，有两个DataNode节点即可。但实际情况是我有一个阿里云服务器，有一个腾讯云服务器。联想到Hadoop可以跨机架，跨机房进行搭建，想了想从原理上来讲的话，这样应该也是可行的，于是抱着试一...
云服务器3——安装及配置Hadoop
最新发布
Jay_NanX的博客
10-26 1053
这个脚本会启动ResourceManager、NodeManager和ApplicationHistoryServer等组件，从而启动YARN服务。这个脚本会启动NameNode、SecondaryNameNode和DataNode等组件，从而启动HDFS服务。该界面提供了有关HDFS文件系统状态、集群健康状况、活动节点列表、NameNode日志等信息。回显信息如下所示时，表示HDFS服务已启动。回显信息如下所示时，表示YARN服务已启动。，退出编辑模式，并输入。，退出编辑模式，并输入。
利用云服务器搭建hadoop集群
小新的蜡笔
12-28 884
利用云服务器搭建hadoop集群测试连接113355123123121323123121233123123312312321入3123211231 测试连接 有一台腾讯云的服务器,最近有买了两台百度云的,打算搭建一个集群,从零开始记录一下. 测试连接: 百度云之间互ping在1ms左右,可惜太穷了买不起,只能把一台成都的和两台保定的串起来,凑合着用吧. 百度云分配的名字太麻烦了,为方便操作修...
云服务器部署hadoop集群
qq_38899062的博客
04-02 1996
0、准备 #1、服务器必须都在同一个vpc下 ping内网ip能直接ping通 #2、添加腾讯云的防火墙规则 （同一个vpc下内网之间所有端口互通） #3、hadoop版本3.1.3 jdk 1.8 #4、一定不要开启云服务器 yarn 端口的防火墙 会被挖矿病毒 kdevtmpfsi 入侵 (或者限制外网ip来源) #5、服务器的主机名修改成自己的 我的是 hadoop102 hadoop103 hadoop104 集群部署规划： 根据规划配置好ssh免密登录 我的hdfs 在hadoop1
基于Apache Hadoop2.9.2使用云服务器搭建hadoop集群
哈哈哈哈哈哈哈
03-28 952
前言 本文基于Hadoop2.9.2，使用3台云服务器，搭建分布式文件系统HDFS。 在开始之前，你需要3台云服务器，可以在同一家购买也可以在不同家购买，比如，分别从BAT购买3台学生机，会很便宜，前提是要有学生身份。 服务器配置 来源 主机名 CPU 磁盘容量 阿里云 al-s2 1核2G 39.25G 腾讯云 tx-s2 1核2G 39.25 百度云 bd-s2 1核2...
Hadoop 集群搭建，云服务器
Wumo的博客
03-12 3365
先安装JDK与Hadoop cd $HADOOP_HOME/etc/hadoop =============core-site.xml fs.default.name hdfs://master:9000 hadoop.tmp.dir file:/opt/module/hadoop-3.3.1/temp io.file.buffer.size 131072 ===========hdfs-site.xml dfs.nam.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值