Centos7 上搭建Hadoop3.1.1集群

最新推荐文章于 2025-04-11 00:20:04 发布
最新推荐文章于 2025-04-11 00:20:04 发布
阅读量522 收藏 3
点赞数
分类专栏： Python 文章标签： 大数据 hadoop itmeng
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43125439/article/details/86498180
版权

Centos7 上搭建Hadoop3.1.1集群

基本网络配置

  • 不论是虚拟机还是物理机, Hadoop集群需要在网络可以共享,且可以访问外网的主机上搭建
IP主机名
192.168.100.101Hadoop1
192.168.100.102Hadoop2
192.168.100.103Hadoop3

  • 计划好以后将以上表格内的内容写入/etc/hosts中（每个都要写）

    echo '192.168.100.101 Hadoop1' >>/etc/hosts
echo '192.168.100.102 Hadoop2' >>/etc/hosts
echo '192.168.100.103 Hadoop3' >>/etc/hosts

  • 修改主机名(每个主机都要改):

    vim /etc/hostname

    将hostname中的内容改为Hadoop1, (第二个就是Hadoop2)

  • 修改ip地址(每个主机都要改)

    vi /etc/sysconfig/network-scripts/ifcfg-ens*

# -----修改如下-----
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no     # --> no
BOOTPROTO=static    # --> static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens32
UUID=45400454-c60e-46f0-bd60-5faa1e7fe8f4
DEVICE=ens32
ONBOOT=yes          # --> yes

# -----以下内容为新增-----
IPADDR=192.168.100.101   # Hadoop2就是102
GATEWAY=192.168.100.2
DNS1=192.168.100.2
NETMASK=255.255.255.0

修改完成后执行 reboot 重启三台主机

关闭防火墙

实验环境中关闭防火墙，防止后续查看web页面访问受阻。

systemctl stop firewalld    # 关闭防火墙
systemctl disable firewalld  # 禁止开机启动

配置SSH免密登录

  • 在所有虚拟机中分别执行

    ssh-keygen -t rsa	# 连续三次回车生成密钥

  • 在Hadoop1中生成认证的公钥key，再用下面的命令分发给各个节点

    cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
scp /root/.ssh/id_rsa.pub root@Hadoop2:/root/.ssh/authorized_keys
scp /root/.ssh/id_rsa.pub root@Hadoop3:/root/.ssh/authorized_keys

  • 给所有虚报机上的authorized_keys添加权限

    chmod 644 /root/.ssh/authorized_keys

  • 测试免密登录

    ssh root@Hadoop3  # 不需输入密码即为成功
exit            # 退出ssh

安装JDK

  • 创建java目录
    mkdir -p /usr/local/java
  • 下载jdk(推荐1.8), 并解压到该文件夹
    tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/local/java/
mv /usr/local/java/jdk1.8.1_91 /usr/local/java/jdk1.8
  • 配置 java 环境变量
    vi /etc/profile
 # 在配置文件的最后添加如下配置
JAVA_HOME=/usr/local/java/jdk1.8
JRE_JOME=/usr/local/java/jdk1.8/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_JOME CLASS_PATH PATH
    保存退出后，执行 source /etc/profile 刷新环境变量
  • 测试一下:
    java -version

安装hadoop3.1.1

mkdir -p /usr/local/hadoop
  • 上传到Hadoop1主机上，并解压到/usr/local/hadoop目录下
    tar -zxvf hadoop-3.1.1.tar.gz -C /usr/local/hadoop/
  • 配置环境变量
    vi /etc/profile
 # 在配置文件最后一行添加如下配置
 
 # HADOOP
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 运行source /etc/profile刷新环境变量
  • 测试 hadoop version

配置hadoop3.1.1

  • 创建目录
     # 在/usr/local/hadoop目录下创建目录
cd /usr/local/hadoop/
mkdir tmp     
mkdir var  
mkdir dfs  
mkdir dfs/name  
mkdir dfs/data
  • 修改配置文件
    cd /usr/local/hadoop/hadoop-3.1.1/etc/hadoop
vim workers
删除localhost
添加从节点主机名，例如: 
Hadoop2
Hadoop3
  • 修改 hadoop-env.sh
    找到 # JAVA_HOME=/usr/java/testing hdfs dfs -ls一行, 在下面添加如下代码
export JAVA_HOME=/usr/local/java/jdk1.8.0_65
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.1
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
以下配置在各个文件的中添加
  • 修改 core-site.xml
    <property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.100.101:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
  • 修改 hdfs-site.xml
    <property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>192.168.100.101:50070</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.100.101:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property> 
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>need not permissions</description>
</property>
  • 修改 yarn-site.xml
    在命令行下输入hadoop classpath，并将返回的地址复制，在配置下面的yarn-site.xml时会用到。
    <property>
<name>yarn.resourcemanager.hostname</name>
<value>Hadoop1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.application.classpath</name>
<value>输入刚才返回的Hadoop classpath路径</value>
</property>
  • 修改 mapred-site.xml
    <property>
<name>mapred.job.tracker</name>
<value>Hadoop1:49001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/usr/local/hadoop/var</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

同步

  • 使用scp命令将Hadoop1下的目录复制到各个从节点的相应位置上
    scp -r /usr/local/java Hadoop2:/usr/local/java
scp -r /usr/local/hadoop Hadoop2:/usr/local/hadoop
scp -r /etc/profile Hadoop2:/etc/
scp -r /usr/local/java Hadoop3:/usr/local/java
scp -r /usr/local/hadoop Hadoop3:/usr/local/hadoop
scp -r /etc/profile Hadoop3:/etc/
  • 在从节点上分别运行下述命令刷新环境变量
    source /etc/profile

格式化节点

  • 在Hadoop1 中运行: hdfs namenode -format

    运行之后不报错，并在倒数第五六行有successfully即为格式化节点成功

  • 运行 start-all.sh，启动hadoop集群的服务

测试

  • 在浏览器上访问hdfs的web界面

    在浏览器上输入 http://192.168.100.101:8088 (前者为主节点ip地址，后者为hdfs的web进程对应的端口号)

搭建hadoop集群
陆卿之的博客
05-24 6357
搭建hadoop集群
Centos7 搭建 hadoop3.1.1 集群教程
miss_sjzhhzh的博客
10-08 266
Centos7 搭建 hadoop3.1.1 集群教程   配置环境要求： Centos7 jdk 8 Vmware 14 pro hadoop 3.1.1 Hadoop下载 安装4台虚拟机，如图所示 克隆之后需要更改网卡选项，ip，mac地址，...
Hadoop集群的安装搭建
最新发布
lxdhs的博客
04-11 1953
上面内容提供了详细的hadoop安装步骤,其中里面有hadoop安装前需要准备的步骤和hadoop安装配置的详细步骤。
hadoop-3.1.1集群搭建
weixin_30540691的博客
06-08 164
Hadoop完全分布式集群搭建： 1）配置文件 　　1.hadoop-env.sh 　　　　export JAVA_HOME=/opt/module/jdk1.8.0_171 　　　　export HDFS_NAMENODE_USER=root 　　　　export HDFS_DATANODE_USER=root 　　　　export HDFS_SECONDARYNAMENODE_US...
HA高可用hadoop3.1.1集群搭建
背离赤道、逆光而行
03-25 656
有了前面全分布式部署的基础：https://blog.csdn.net/weixin_40096730/article/details/88692579 现在开始进行HA高可用集群搭建！ 背景 在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个群集都有一个NameNode，如果该机器或进程变得不可用，整个群集将无法使用，直到NameNode重新启动或...
hadoop集群搭建（超详细版）
热门推荐
code__online的博客
05-03 10万+
1.准备好需要安装的软件 虚拟机VMware12.pro 操作系统CentOS 6.5 远程控制虚拟机的终端SecureCRT8.1 2.在虚拟机中安装CentOS操作系统 安装好虚拟机，图形界面如下图 创建新的虚拟机，选择自定义（高级），点击下一步 虚拟机硬件兼容性默认，浏览需要安装的CentOS6.5镜像文件 自定义用户名和密码（用于登录） 设置虚...
Centos7上搭建Hadoop3.1.1集群
凌云网络之昂chan的博客
08-22 5921
分配IP 先在草稿纸上分配好IP和主机名，三台主机均能上外网，且均能互相ping通即可。 IP 主机名 192.168.85.101 node1 192.168.85.102 node2 192.168.85.103 node3 再将以上表格内的内容写入/etc/hosts中（每个都要写） echo '192.168.85.101 node1' &g...
centos7hadoop3.1.1集群搭建
03-24
### 在 CentOS 7 上搭建 Hadoop 3.1.1 分布式集群 #### 配置环境 在 CentOS 7 上搭建 Hadoop 3.1.1 的分布式集群涉及多个步骤，包括安装 Java 环境、配置 SSH 密钥登录以及设置 Hadoop 的核心配置文件。以下是详细...
VirtualBox中搭建Hadoop 3.1.1完全分布式集群环境(二)CentOS7中安装及配置Hadoop
ltbook的专栏
01-29 586
一、安装及配置java运行环境 1、安装OpenJDK1.8 #安装jdk #yum install java-1.8.0-openjdk-devel.x86_64 注：这里体验yum软件包管理工具： (1)查找包（1） #yum list | grep telnet-server (2)查找包（2） #yum search MySQL (3)安装MySQL(在CentOS7中叫Mari...
基于CentOS7的Hadoop2.7.7集群部署+hive3.1.1+Tez0.9.1.doc
02-17
本文档旨在描述基于CentOS7的Hadoop2.7.7集群部署+hive3.1.1+Tez0.9.1的环境搭建过程。该文档涵盖了环境说明、软件版本说明、配置hosts和hostname、配置SSH、配置JDK等重要步骤。 一、环境说明 在本文档中，我们将...
Centos7 + Hadoop3 搭建伪分布式集群
01-07
操作系统：Centos7 Java：jdk-8u162-linux-x64 hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;iptables -Z;iptables -L、iptables-save、setenforce 0 vi /etc/selinux/config 改：SELINUX=Enfocing—>SELINUX=disable 三、ssh免密登录
Centos7+Hadoop3.1.1集群搭建
u013062192的博客
12-28 339
Centos7+Hadoop3.1.1集群搭建，使用了三台虚拟机。 第一步：前面的虚拟机之间的SSH免密码可以参考下面的博主，写的很好。 https://blog.csdn.net/qq_34646817/article/details/81177155。 我在配置完后，遇到一个很郁闷的问题，centOS7_1登陆另外两台虚拟机需要密码，然而另外两台没有啥问题，一模一样的操作。最终使用s...
hadoop集群搭建-hadoop3.1.1
weixin_34315485的博客
09-03 210
hadoop集群搭建 环境 centos6.7 虚拟机三台 yh01(主节点) yh02 yh03 一下如无特殊说明都是在主节点上配置 1.下载 http://mirrors.hust.edu.cn/ap... hadoop-3.1.1.tar.gz 2.安装 2.1 参考文档 文档 http://hadoop.apache.o...
centos7上搭建hadoop3集群
jyyy1990的博客
03-30 3573
准备工作： 本人是在本地Windows电脑用虚拟机开了3个centos7，模拟集群状态。 所有操作都是在root用户，用其他账号可能会带来问题，建议先在root用户操作，搭建完成没问题了可以用其他账户试试。 一、安装jdk hadoop3最低需要jdk8，所以需要先在每个节点上安装jdk8，下载-解压-配置环境变量，这里不再多说，只要保证最后java -version能运行出来就行，3台机子都要装好。 二、配置机器名称 我的机子：10.0.2.4是node1(master)，10.0.2.15是
2021-03-26
weixin_48167566的博客
03-26 119
ROOT:Hadoop123 atguigu:atguigu/123456 内存2G，硬盘50G 1. 安装好linux /boot 200M /swap 2g / 剩余 2. *安装VMTools 3. 关闭防火墙 sudo systemctl stop firewalld sudo systemctl disable firewalld 4. 设置静态IP，改主机名 编辑vim /etc/sysconfig/network-scripts/ifcfg-...
hadoop集群搭建
香蕉味的banana的博客
06-24 208
hadoop集群环境搭建
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值