centos7部署hadoop2.8.5 分布式部署

最新推荐文章于 2024-07-24 02:10:06 发布
最新推荐文章于 2024-07-24 02:10:06 发布
阅读量260 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/node_One/article/details/103224321
本文详细介绍如何在三台机器上搭建Hadoop集群，包括关闭防火墙、SELinux，配置免密登录，部署JDK，配置Hadoop核心参数，以及启动和测试集群的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

由于资源有限，部署只用了三台机器，一台master，两台slave，三台机器之间互做免密，互做解析，主机名-和解析的名字一定要一样，基础环境比较好弄，要细心，

关闭你所准备的机器上的防火墙，selinux。swap

systemctl stop firewalld 

systemctl disable firewalld

vim /etc/selinux/config

把selinux的值更改成disabled

三台机器彼此之间需要互相做免密

master上执行

ssh-keygen -t rsa 或者是 dsa

然后一路回车

然后ssh-copy-id hadoop-master

       ssh-copy-id hadoop-slave1

       ssh-copy-id hadoop-slave2

slave1上执行

ssh-keygen -t rsa 或者是 dsa

然后一路回车

然后ssh-copy-id hadoop-master

       ssh-copy-id hadoop-slave1

       ssh-copy-id hadoop-slave2

slave2上执行

ssh-keygen -t rsa 或者是 dsa

然后一路回车

然后ssh-copy-id hadoop-master

       ssh-copy-id hadoop-slave1

       ssh-copy-id hadoop-slave2

三台都要如此操作

hadoop跑起来需要java环境所以咱们要部署一个jdk我选的jdk是1.8，首先下载一个jdk往期里边有，请看，

简单的部署就是将jdk下载到服务器然后将他存放到规划的目录下，然后将这个具体的路径配置到。/etc/profile中

然后重新加载一下这个文件，source /etc/profile 就完事

下载自己需要的版本hadoop，我用的包是 2.8.5

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.5.tar.gz

然后解压

tar -xzvf hadoop-2.8.5.tar.gz

只需要在一台机器上更改配置，完成以后scp到其他机器上

mv  hadoop-2.8.5 hadoop

vim /usr/local/src/hadoop/etc/hadoop/core-site.xml



<configuration>
      <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop-master:8020</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/src/hadoop/hadoop_tmp</value>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>4096</value>
        </property>
</configuration
vim /usr/local/src/hadoop/etc/hadoop/hdfs-site.xml


<configuration>

    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/src/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/src/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>hadoop-master:50070</value>
    </property>
    <property>
        <name>dfs.secondary.http.address</name>
        <value>hadoop-master:50090</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value> </property>
</configuration>

cp mapred-site.xml.template mapred-site.xml

vim /usr/local/src/hadoop/etc/hadoop/mapred-site.xml

<configuration>
     <!--指定maoreduce运行框架-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value> </property>
<!--历史服务的通信地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop-master:10020</value>
    </property>
<!--历史服务的web ui地址-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop-master:19888</value>
    </property>
</configuration>

 

[root@hadoop-master ~]# vim /usr/local/src/hadoop/etc/hadoop/yarn-site.xml 


        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop-master</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>${yarn.resourcemanager.hostname}:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>${yarn.resourcemanager.hostname}:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>${yarn.resourcemanager.hostname}:8088</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.https.address</name>
                <value>${yarn.resourcemanager.hostname}:8090</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>${yarn.resourcemanager.hostname}:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>${yarn.resourcemanager.hostname}:8033</value>
        </property>
        <property>
                <name>yarn.nodemanager.local-dirs</name>
                <value>/usr/local/src/hadoop/hadoop_tmp/yarn/local</value>
        </property>
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.nodemanager.remote-app-log-dir</name>
                <value>/usr/local/src/hadoop/hadoop_tmp/logs</value>
        </property>
        <property>
                <name>yarn.log.server.url</name>
                <value>http://hadoop-master:19888/jobhistory/logs/</value>
                <description>URL for job history server</description>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>2048</value>
        </property>
         <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>512</value>
        </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>4096</value>
        </property>
        <property>
                <name>mapreduce.map.memory.mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>mapreduce.reduce.memory.mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.cpu-vcores</name>
                <value>1</value>
        </property>

更改slaves 在里边写上自己的slave

 配置hadoop-env.sh，指定JAVA_HOME

更改yarm-env.sh

 配置mapred-env.sh，指定JAVA_HOME

 

然后通过scp命令将这个安装包分发到其他的几台机器上

 

然后启动集群测试集群

 

如果是第一次启动集群需要格式化namenode

hdfs namenode -format

查看是否报错，如果不报错进行下一步，不错查看自己的配置文件，防火墙，还有就是是否将，hadoop的环境变量添加到 /etc/profie

如图

#hadoop
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

启动这两个，可以都在一个master上执行，完成以后

访问自己定义的webip:50070

成功以后就是这样的，如果显示不全或者是没有这个端口可以查看一下日志和端口，或者是配置文件，是否写错，如有更好欢迎交流

centos7安装配置Hadoop集群
一只修炼成精的猴子的博客
02-21 3万+
1、下载Hadoop以及JAVA 本文用的是hadoop-3.2.0 下载地址： http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 本文用的是JAVA1.81 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/j...
Centos7部署Hadoop2.8.5+Mysql8+Hive2.3.7
weixin_38456538的博客
08-13 789
参考： https://blog.csdn.net/qq_38924171/article/details/100186327 https://blog.csdn.net/qq_38924171/article/details/99995856 1集群环境准备 环境版本及介质版本： Centos7+Hadoop2.8.5+Mysql8+Hive2.3.7 注意Hadoop版本必须要和Hive版本兼容，具体匹配信息可以去Hive官网查询 http://hive.apache.org/down...
在CentOS7部署Hadoop
最新发布
qq_66281927的博客
07-24 1871
Hadoop部署安装教程
centos7.1安装部署Hadoop
Doarcutine的专栏
05-24 2211
明明之前已经在Ubuntu上部署过Hadoop了，换到CentOS又卡了好久，还是好弱，赶紧写篇博客记录下来。 一、安装JDK，配置环境变量 （1）查看CentOS自带JDK是否已安装 yum list installed|grep java 这里我已经安装过了java-1.7.0-openjdk，为了方便演示所以就当做自带环境了，不影响接下来的操作。（这里补充一下jdk和openjd
Linux（centos7）部署hadoop集群，腾讯T2大牛亲自教你
m0_57473261的博客
04-18 411
libexec ：存放配置Hadoop系统的脚本文件（.sh和.cmd）hadoop-env.sh：配置Hadoop的相关环境变量。workers：配置从节点（DataNode）有哪些。core-site.xml：Hadoop核心配置文件。lib：存放Linux系统的动态链接库（so文件）hdfs-site.xml：HDFS核心配置文件。licenses-binary：存放许可证文件。bin：存放Hadoop的各类程序（命令）sbin：管理员程序（super bin）etc：存放Hadoop的配置文件。
CentOS7搭建Hadoop集群(V3.3.4)
Button的博客
01-29 2922
hadoop集群搭建
Centos7.5搭建Hadoop2.8.5完全分布式集群部署
濁水君
10-18 1385
一、基础环境设置 1. 准备4台客户机（VMware虚拟机） 系统版本：Centos7.5 节点配置： 192.168.208.128 ——Master 192.168.208.129 ——Slaver-1 192.168.208.130 ——Slaver-2 192.168.208.130 ——Slaver-3 2. 配置hosts文件，使4台客户机能够以主机名相互访问 [root@Mast...
Centos7下安装Hadoop2.8.5
A_saying的博客
11-10 433
Centos7下安装Hadoop2.8.5 一、准备Linux环境 1、修改主机名 vi /etc/sysconfig/network 加入以下内容 NEKWORKING =yes HOSTNAME=hadoop0 2、修改主机名和IP的映射 vi /etc/hosts 加入以下内容 192.168.33.61 hadoop0 3、关闭防火墙 #查看防火墙状态 systemctl status firewalld #关闭防火墙 systemctl stopfirewalld #关闭防火墙开机自启
Hadoop 2.8.5 完全分布式集群搭建
CNXLK的博客
10-18 2089
所用到的软件以及环境介绍： OS : CentOS7.5 JDK : 1.8.0_181 Hadoop ： 2.8.5 Zookeeper ： 3.4.12 Hbase ： 2.1.0    准备服务器3台，假设其地址为 192.168.1.160、192.168.1.161、192.168.1.162；我们以160为master、其余两台为slaver 修改主机名     ...
centos7-Hadoop2-8-5环境搭建-基本命令行操作
qq_45841239的博客
09-07 318
进行hadoop集群环境的搭建主要包括下面几步： VMware安装虚拟机 为虚拟机配置静态的ip地址（要求虚拟机能够连接外网，且虚拟机可与物理主机互联。） 进行主机名字的修改与关闭防火墙 为虚拟机配置java环境并安装Hadoop 克隆虚拟机并修改子节点虚拟机名字（要求虚拟机之间能够相互通信） 实现三个主机之间的ssh免密登录 测试运行hellowold! 要注意的是我们要先将主节点虚拟机的jdk，Hadoop等与静态IP配置好之后再将虚拟机克隆过去，这时克隆过去的虚拟机只需要修改主机名字与修改静态ip
centos7下配置hadoop分布式环境完整版
03-05
centos7下配置hadoop分布式环境完整版,比较详细，如有不懂的可到http://www.cnblogs.com/caijh/下留言呢谢谢
Centos7下安装hadoop-2.8.3详细步骤
03-19
CentOS下安装hadoop-2.8.3详细步骤，包括如何调用原生CountWord并输出
Hadoop（三）之实验一CentOS7配置Hadoop系统：安装 Hadoop3.1.2
sandalphon4869的博客
11-04 945
文章目录6.安装 Hadoop3.1.2（1）修改配置文件 core-site.xml（2）修改配置文件 hdfs-site.xml（3）修改配置文件 mapred-site.xml（4）修改配置文件 capacity-scheduler.xml（5）修改配置文件 yarn-site.xml（6）编辑 start-dfs.sh，stop-dfs.sh 脚本（7）编辑 start-yarn.sh，s...
CentOS7下完全分布式Hadoop2.8.5极速搭建
玻璃汽水的博客
05-20 617
1. 安装最小化的系统，也就是什么多余的组件都没有，全部需要手动DIY，这样可以最大化保证系统的安全性，CentOS7中早就废弃了ifconfig这一命令来查询网络地址状态，我们可以通过ip addr命令来查询。 2. ip addr查询网络地址状态后发现有两个值，第一个明显是本机服务的inet，第二个并没有inet这个属性值。下一步就是配置网卡，我的为ens33 3. 将onboot的no值改...
Hadoop（一）之实验一CentOS7配置Hadoop系统：配置CentOS和下载安装包
sandalphon4869的博客
11-04 1356
文章目录2.创建虚拟机3.配置静态IP、修改主机名4.将刚刚的c0虚拟机克隆三台出来5.在四台机子上设置hosts，一下以c0为例6.配置 SSH 免密码登录登录7.关闭防火墙 2.创建虚拟机 ①打开VMware，点击新建虚拟机。 ②选择典型类型，下一步。 ③选择稍后安装操作系统，下一步。 ④客户机操作系统–Linux版本，CentOS 7 64位。 ⑤命名虚拟机c0，选择位置。 ⑥使用默认磁盘...
Centos7配置hadoop环境教程
qq_44626465的博客
10-12 1057
本教程适合在安装好JDK前提下进行 Hadoop安装 Hadoop安装包下载：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/ 我这里使用FileZila把安装包放到 > /opt/app > 注意文件给予的权限↓ > chmod 777 /opt/app > 进入到该目录↓(注意使用 ls 查看是否有该文件) > cd /opt/app &g
在CentOS 7下配置Hadoop环境（一）
编程的艺术
03-30 1308
在CentOS 7下配置Hadoop环境（一）Tags： Hadoop所需软件 安装centos 7 配置JDK 配置无密钥登录 配置Hadoop 配置Eclipse Loading…所需软件 centos 7 https://www.centos.org/download/ hadoop 2.7.3 http://hadoop.apache.org/rel
centos7配置hadoop伪分布式
小魏的博客
06-06 404
1.停止防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 2.selinux改为disable vi /etc/selinux/config SELINUX=disabled
centos7系统搭建Hadoop环境教程
高性价比服务器就选：蓝易云
07-27 420
这些是在CentOS 7上搭建Hadoop环境的基本步骤。根据您的需求和具体环境，可能还需要进行其他配置和调整。确保在进行任何与网络连接和安全相关的操作之前，详细了解您的网络环境和安全需求，并采取适当的安全措施。Hadoop是基于Java开发的，所以首先需要安装Java。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值