hadoop集群搭建

最新推荐文章于 2024-10-11 10:12:56 发布
最新推荐文章于 2024-10-11 10:12:56 发布
阅读量266 收藏
点赞数
分类专栏： 技术类 文章标签： hadoop 集群 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40249994/article/details/102912549
版权
本文详细介绍Hadoop集群的搭建过程，包括虚拟机IP配置、主机名设置、防火墙及SELinux关闭、启动级别调整、普通用户创建及权限配置、免密登录设置、JDK安装、时间同步、核心配置文件修改等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hadoop集群搭建#### 配置虚拟机的ip

1.配置虚拟机的ip
vi /etc/hosts
172.16.219.138 centos138
172.16.219.139 centos139
172.16.219.140 centos140
2.配置虚拟机的主机名
vi /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
HOSTNAME=centos138
3.关闭防火墙和selinux
1.iptables -F
2.vi /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three two values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted
#安全增强型 Linux（Security-Enhanced Linux）简称 SELinux，它是一个 Linux 内核模块，也是 Linux 的一个安全子系统 

#SELinux 主要作用就是最大限度地减小系统中服务进程可访问的资源（最小权限原则）。
4.将系统的启动级别改为3
1.centos6修改为
id:3:initdefault
2.Centos7.x

中的默认启动界别已经修改了

修改方法：

#1.查看当前运行级别,
# multi-user.target: analogous to runlevel 3
# graphical.target: analogous to runlevel 5
[root@centos138 ~]# systemctl get-default
multi-user.target

#2.此处看到默认为3，如果不是那么
systemctl set-default multi-user.target 

[root@centos138 ~]# vi /etc/inittab
# inittab is no longer used when using systemd.
#
# ADDING CONFIGURATION HERE WILL HAVE NO EFFECT ON YOUR SYSTEM.
#
# Ctrl-Alt-Delete is handled by /usr/lib/systemd/system/ctrl-alt-del.target
#rgets:
# systemd uses 'targets' instead of runlevels. By defaul# multi-user.target: analogous to runlevel 3
# graphical.target: analogous to runlevel 5
#
# To view current default target, run:
# systemctl get-default
#
# To set a default target, run:
# systemctl set-default TARGET.target

img

5.创建普通用户，添加sudoers权限

  1. 新建普通用户hadoop

    [root@centos138 ~]# adduser hadoop
[root@centos138 ~]# passwd hadoop
更改用户 hadoop 的密码 。
新的 密码：
无效的密码： 密码少于 8 个字符
重新输入新的 密码：
passwd：所有的身份验证令牌已经成功更新。

  2. 将hadoop用户添加到用户组

    [root@centos138 ~]# usermod -a -G hadoop hadoop

  3. 配置权限

    [root@centos138 ~]# vi /etc/sudoers
## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
hadoop  ALL=(ALL)       ALL
## Allows members of the 'sys' gr
6.配置免密登录

  1. 生成秘钥,先切换用户，然后生成秘钥

  2. 发送秘钥 ssh-copy-id 主机名

  3. shell：

    [root@centos138 ~]# su - hadoop
[hadoop@centos138 ~]$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Created directory '/home/hadoop/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:j2R0G2wNPIDYs188O3AQLKlkxR46DZJK0Btmra3lljg hadoop@centos138
The key's randomart image is:
+---[RSA 2048]----+
|o. o =.+o+.      |
| .B * O o.oo     |
|.+ O * =.o=..    |
|. o * +..o=o     |
|   = o .S+.o     |
|  E +  o.oo      |
|   o    . ..     |
|                 |
|                 |
+----[SHA256]-----+
[hadoop@centos138 ~]$ cd .ssh/
[hadoop@centos138 .ssh]$ ll
总用量 8
-rw-------. 1 hadoop hadoop 1675 8月  19 01:37 id_rsa
-rw-r--r--. 1 hadoop hadoop  398 8月  19 01:37 id_rsa.pub
[hadoop@centos138 .ssh]$ ssh-copy-id centos138
/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/home/hadoop/.ssh/id_rsa.pub"
The authenticity of host 'centos138 (172.16.219.138)' can't be established.
ECDSA key fingerprint is SHA256:JMjblYT4PB4D0Vyow/boHAGIOyvzxWdOEfnGeWbwb6k.
ECDSA key fingerprint is MD5:91:ae:f5:47:a4:0b:2c:d4:3f:af:88:11:02:46:0a:1e.
Are you sure you want to continue connecting (yes/no)? yes
/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
hadoop@centos138's password:

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'centos138'"
and check to make sure that only the key(s) you wanted were added.

[hadoop@centos138 .ssh]$
7.安装jdk,略
8.时间同步
9.修改配置文件

​ (hadoop/etc/hadoop目录下为配置文件)

1.修改hadoop_env.sh,导入java环境变量(/usr/local/soft/jdk/)
[hadoop@centos138 .]# cd /hadoop/etc/hadoop
[hadoop@centos138 hadoop]# vi hadoop_env.sh
2.修改core-site.xml
[hadoop@centos138 hadoop]$ vi core-site.xml
<!-- Put site-specific property overrides in this file. -->
#配置的是通信的主节点的url链接
<configuration>
 <property>
    <name>fs.defaultFS</name>
    <value>hdfs://centos138:9000</value>
  </property>
  
  <!-- 配置操作hdfs的存冲大小 --> 
  <property> 
    <name>io.file.buffer.size</name> 
    <value>4096</value> 
  </property> 
<!-- 配置临时数据存储目录 --> 
  <property> 
    <name>hadoop.tmp.dir</name> 
    <value>/opt/hadoop/hadoop-2.8.5/tmp</value> 
  </property>
</configuration>
3.修改hdfs-site.xml,配置存储分片数量
[hadoop@centos138 hadoop]$ vi hdfs-site.xml
<!--配置副本数--> 
	<property> 
		<name>dfs.replication</name> 
		<value>3</value> 
	</property> 
<!--hdfs的元数据存储位置--> 
	<property> 
		<name>dfs.namenode.name.dir</name> 
		<value>/opt/hadoop/hadoop-2.8.5/hdfs/name</value> 
	</property> 
<!--hdfs的数据存储位置--> 
	<property> 
		<name>dfs.datanode.data.dir</name> 
		<value>/opt/hadoop/hadoop-2.8.5/hdfs/data</value> 
	</property> 
<!--hdfs的namenode的web ui 地址--> 
	<property> 
		<name>dfs.http.address</name> 
		<value>centos138:50070</value> 
	</property> 
<!--hdfs的snn的web ui 地址--> 
	<property> 
		<name>dfs.secondary.http.address</name> 
		<value>centos138:50090</value> 
	</property> 
<!--是否开启web操作hdfs--> 
	<property> 
		<name>dfs.webhdfs.enabled</name> 
		<value>true</value> 
	</property> 
<!--是否启用hdfs权限（acl）--> 
	<property> 
		<name>dfs.permissions</name> 
		<value>false</value> 
	</property>
</configuration>
4.修改yarn-site.xml,yarn负责资源调度
[hadoop@centos138 hadoop]$ vi yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
       <!--指定resourcemanager所启动的服务器主机名--> 
	<property> 
		<name>yarn.resourcemanager.hostname</name> 
		<value>centos138</value> 
	</property> 
<!--指定mapreduce的shuffle--> 
	<property> 
		<name>yarn.nodemanager.aux-services</name> 
		<value>mapreduce_shuffle</value> 
	</property> 
<!--指定resourcemanager的内部通讯地址--> 
	<property> 
		<name>yarn.resourcemanager.address</name> 
		<value>centos138:8032</value> 
	</property> 
<!--指定scheduler的内部通讯地址--> 
	<property> 
		<name>yarn.resourcemanager.scheduler.address</name> 
		<value>centos138:8030</value> 
	</property> 
<!--指定resource-tracker的内部通讯地址--> 
	<property> 
		<name>yarn.resourcemanager.resource-tracker.address</name> 
		<value>centos138:8031</value> 
	</property> 
<!--指定resourcemanager.admin的内部通讯地址--> 
	<property> 
		<name>yarn.resourcemanager.admin.address</name> 
		<value>centos138:8033</value> 
	</property> 
<!--指定resourcemanager.webapp的ui监控地址--> 
	<property> 
		<name>yarn.resourcemanager.webapp.address</name> 
		<value>centos138:8088</value> 
	</property>

</configuration>
5.修改mapred-site.xml
[hadoop@centos138 hadoop]$ vi yarn-site.xml
<configuration>
<!--指定maoreduce运行框架--> 
	<property> 
		<name>mapreduce.framework.name</name> 
		<value>yarn</value> </property> 
<!--历史服务的通信地址--> 
	<property> 
		<name>mapreduce.jobhistory.address</name> 
		<value>centos138:10020</value> 
	</property> 
<!--历史服务的web ui地址--> 
	<property> 
		<name>mapreduce.jobhistory.webapp.address</name> 
		<value>centos138:19888</value> 
	</property>
</configuration>
6.修改slaves–助理配置
[hadoop@centos138 hadoop]$ vi slaves

centos139
centos140
7.格式化
[hadoop@centos138 hadoop]$ sudo chown -R hadoop   /usr/local/soft/hadoop-2.8.5/
[hadoop@centos138 hadoop]$ /usr/local/soft/hadoop-2.8.5/bin/./hdfs namenode -format
19/08/22 02:20:34 INFO util.GSet: VM type       = 64-bit
19/08/22 02:20:34 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB
19/08/22 02:20:34 INFO util.GSet: capacity      = 2^15 = 32768 entries
19/08/22 02:20:34 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1305675377-172.16.219.138-1566411634561
19/08/22 02:20:34 INFO common.Storage: Storage directory /usr/local/soft/hadoop-2.8.5/dfs/name has been successfully formatted.
19/08/22 02:20:34 INFO namenode.FSImageFormatProtobuf: Saving image file /usr/local/soft/hadoop-2.8.5/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
19/08/22 02:20:34 INFO namenode.FSImageFormatProtobuf: Image file /usr/local/soft/hadoop-2.8.5/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 322 bytes saved in 0 seconds.
19/08/22 02:20:34 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
19/08/22 02:20:34 INFO util.ExitUtil: Exiting with status 0
19/08/22 02:20:34 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at centos138/172.16.219.138
************************************************************/
10.启动
  1. sbin/./start-dfs.sh
  2. sbin/./start-yarn.sh
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1294
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
大数据Hadoop之HDFS
遗失的风景的博客
04-09 419
大数据（bigData） 数据量级大，处理GB/TB/PB级别数据（存储、分析） 时效性，需要在一定的时间范围内计算出结果（几个小时以内） 数据多维度（多样性），存在形式：传感器采集信息、web运行日志、用户的行为数据。 数据可疑性，数据要有价值。需要对采集的数据做数据清洗、降噪 大数据解决问题？ 存储 打破单机存储瓶颈（数量有限，数据不安全），读写效率低下（顺序化读写）。大数据提出以分布...
Hadoop集群搭建
lydms的博客
02-09 2万+
Hadoop官方网站：http://hadoop.apache.org/Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。完全分布式模式：多台服务器组成分布式环境。生产环境使用。
Hadoop集群搭建（详细版）
qq_73824705的博客
10-01 1万+
分别在hadoop101、hadoop102、hadoop103中修改 hosts 文件（主要用于映射 IP 地址和域名之间的连接）设置hostname，分别修改主机名为hadoop101、hadoop102、hadoop103，cat命令查看主机名。进入hadoop101，打开终端，设置为静态 ip ，添加 ip 地址、网关和域名。打开xshell，hadoop101、hadoop102、hadoop103建立连接。打开ens33并修改主机名为hadoop101，点击完成，开始安装。
Hadoop集群搭建（超级详细）
热门推荐
qq_43650672的博客
05-07 7万+
本文略长，希望各位大佬见谅！！！ 需要的安装包：jdk-8u162-linux-x64.tar.gz（ 提取码：6k1i ）、hadoop-3.1.3.tar.gz（ 提取码：07p6 ） 1 集群规划 安装VMware，使用三台Ubuntu18.04虚拟机进行集群搭建，下面是每台虚拟机的规划： 主机名 IP 用户 HDFS YARN hadoopMaster 待定 rmc0924 NameNode、DataNode NodeManager、ResourceManager hado
Hadoop集群搭建详细教程
m0_65029172的博客
07-27 4004
Hadoop集群搭建详细教程
Hadoop 集群搭建
yuyu的博客
03-24 2281
使用三台虚拟机，搭建一个 Hadoop 集群
Hadoop集群搭建（超级超级详细）
皮埃尔的博客
04-28 3万+
Hadoop集群搭建（超级超级详细）
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式 2.网络配置 打开虚拟机 ,选中需要修改的节点,步骤如下: 编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除...如果是集群配置,其
Hadoop集群搭建-完全分布式
2301_79986451的博客
10-11 1932
Hadoop 是一个开源框架，主要用于存储和处理大规模数据集，特别是在集群环境下。它最初由 Apache Software Foundation 开发，并且已经成为大数据处理领域的重要组成部分。Hadoop 提供了一种高效、可靠的方式来存储、处理和分析大量数据，支持分布式计算模型。HDFS 是一种分布式文件系统，设计用来存储大量的数据，并且能够提供高吞吐量的数据访问能力。集群里主要角色有：NamenodeDataNodeYARN 是 Hadoop 的资源管理和调度框架。
weui的页面内搜索功能实现demo
qq_40249994的博客
07-02 1万+
基于公司微信公众号开发的需要，写了一个页面内简单搜索功能的demo 下面是html： &lt;div class="weui-search-bar" id="searchBar"&gt; &lt;form class="weui-search-bar__form" onkeydown="if(event.keyCode==13) return false;"&gt;
微信开发返回文本内容中添加超链接（含参数）
qq_40249994的博客
08-23 4896
工作汇总遇到一个场景：用户扫码关注后，需要引导用户进行登录或者注册，此时需要发送一段文本消息给用户，包含（登录和注册的链接），同时，用户的openid（在关注事件中获取的）作为参数拼接在链接后面，那么java中是如何返回这段消息给微信的呢： String loginurl = "&lt;a href=\"http://www.baidu.com/signin.html?openid=" + ...
java接收，操作csv文件
qq_40249994的博客
08-10 2169
先简单的贴下前端代码： &lt;div class="row"&gt; &lt;div class="col-sm-3 col-sm-offset-2"&gt; &lt;span&gt;3.点击按钮上传文件&lt;/span&gt; &lt;/div&gt; &lt;div class="col-sm-3 "&g
微信公众号开发工作小结
qq_40249994的博客
07-03 1875
做了一个月的微信公众号和微信网页，做一下总结，以便以后回顾，主要涉及到的功能：1.用户关注之后收到自动回复的一条消息（此功能可继续拓展：用户回复指定消息比如：“回复 数字1 查看内容1，回复2查看内容2”）2.消息推送 ：用户进行体检测量后，机器上传数据到公司平台，上传成功之后可将检测数据实时推送到用户的微信上。3.微信网页：主要涉及到授权，其他大部分是重复工作了 ；1.给用户发送消息，微信里面的...
hadoop 集群搭建
最新发布
03-29
首先，我需要回忆之前学过的Hadoop集群搭建知识，确保步骤正确。记得Hadoop集群通常分为完全分布式模式，需要多台机器，比如hadoop102、hadoop103、hadoop104这样的命名。用户提供的引用里提到了设置这些节点，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qq_40249994

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值