Hadoop的安装详解

最新推荐文章于 2025-03-20 16:01:38 发布
最新推荐文章于 2025-03-20 16:01:38 发布
阅读量510 收藏 1
点赞数 14
文章标签： Hadoop 大数据 Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hzyyyyyyy/article/details/102807308
版权

Hadoop的安装详解

第一步：

在这里插入图片描述

`在所选目录下输入命令rz上传Hadoop到Linux虚拟机中并解压到对应的路径
`

第二步：

`在第一台机器中执行`
[root@node02 bin]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/bin/
[root@node02 bin]# ./hadoop checknative
`执行上两行代码后会出现：`

在这里插入图片描述

`如果出现openssl为false，那么所有机器安装openssl即可，
执行以下命令，虚拟机配置好yum源后就可以在线进行安装了`
[root@node02 bin]# yum -y install openssl-devel

第三步：

注意：第三步操作全部都在第一台机器

1.修改core-site.xml文件
[root@node02 bin]# vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml
`进入文件后在<configuration></configuration>标签中插入：`
<property>
                <name>fs.defaultFS</name>
                <value>hdfs://node02:8020</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
        </property>
        <!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
        <property>
                <name>io.file.buffer.size</name>
                <value>4096</value>
        </property>

        <!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
        <property>
                <name>fs.trash.interval</name>
                <value>10080</value>
        </property>
注意：在文件中一定要对应好自己的主机名称和hadoop所在路径

在这里插入图片描述

2.修改hdfs-site.xml文件
[root@node02 bin]# vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml
`进入文件后在<configuration></configuration>标签中插入：`
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
注意：在文件中一定要对应好自己的主机名称和hadoop所在路径

在这里插入图片描述

3.修改Hadoop-env.sh文件
[root@node02 hadoop]# vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hadoop-env.sh
`进入文件后在export JAVA_HOME={JAVA_HOME} 这行代码中修改成：`
export JAVA_HOME=/export/install/jdk1.8.0_144
`后面要写jdk所在的安装路径`
4.修改mapred-site.xml文件
[root@node02 hadoop]# vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/mapred-site.xml
`该文件没内容，进入文件后复制下面代码：`
       <configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <property>
                <name>mapreduce.job.ubertask.enable</name>
                <value>true</value>
        </property>

        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>node02:10020</value>
        </property>

        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>node02:19888</value>
        </property>
        </configuration>
注意：在文件中一定要对应好自己的主机名称

在这里插入图片描述

4.修改yarn-site.xml文件
[root@node02 hadoop]# vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/yarn-site.xml
`进入文件后在<configuration></configuration>标签中插入：`
<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>node02</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
注意：在文件中一定要对应好自己的主机名称

在这里插入图片描述

5.修改slaves文件
[root@node02 hadoop]# vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/slaves
`进入文件后写上你集群对应的主机名。这里用node1，2，3代替`
node01
node02
node03

第四步：

`在第一台机器上执行以下命令：`
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits
注意：红框中为你hadoop安装路径，其他的建议不要修改在这里插入图片描述

第五步：

`在第一台机器将安装包分发给其他机器，先进入到hadoop安装目录下`
[root@node02 hadoop]# cd /export/servers/
`在将安装包分发给其他机器`
[root@node02 hadoop]# scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
[root@node02 hadoop]# scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

第六步：

`配置Hadoop的环境变量：`
[root@node02 /]# vim  /etc/profile.d/hadoop.sh
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
`配置好文件后更新：`
[root@node02 /]# source /etc/profile

第七步：

`集群启动前进入到Hadoop中，进行格式化操作`
[root@node02 /]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/
[root@node02 hadoop-2.6.0-cdh5.14.0]# bin/hdfs namenode  -format

注意：格式化操作不要过多，不然会导致namenode和datanode的id不一样，导致启动失败
一键启动集群：start-all.sh
一键关闭集群：stop-all.sh

第八步：

访问浏览器，输入地址：
hdfs集群访问地址： http://192.168.52.100:50070/dfshealth.html#tab-overview
在这里插入图片描述
yarn集群访问地址： http://192.168.52.100:8088/cluster
在这里插入图片描述
如果看见以上画面，配置就全部成功了。

注：输入命令jps也可以验证
第一台机器：在这里插入图片描述

其他机器：
在这里插入图片描述

如果与上截图的jps命令后的效果不一样，即使网页画面出来了，配置也是不成功的

hkk94188
关注
hadoop安装详解
kingxuexi的博客
02-07 537
1.多台linux虚拟机无密码登录 2.在每台电脑上安装jdk 3.上传hadoop-2.2.0.x86_64.tar.gz（密码:8t9b）到hadoop账号下的任意位置 执行： mkdir hadoop mkdir hadoop/tmp mkdir hadoop/hdfs/name mkdir hadoop/hdfs/data 解压tar -zxvf hadoop-2.2.
Hadoop安装教程详解
qq_48395735的博客
06-26 464
使用VirtualBox安装Hadoop安装详解 一、前言 1、本文使用VirtualBox安装Hadoop，前期的centos7的配置请看：https://blog.youkuaiyun.com/qq_48395735/article/details/106816891 （按照博客做完第三步：使用moba连接虚拟机即可） 二、准备 相关安装包下载：链接：https://pan.baidu.com/s/1MOa9GqINlZF4avz0nVyGPg 提取码：w8uh 三、安装Hadoop 1、导入安装包、讲安装包拖入s
linux下的hadoop安装及配置详解
07-13
linux下的hadoop安装及配置详解
Hadoop的安装
最新发布
qq_44361270的博客
03-20 1627
1）各个模块分开启动/停止（配置ssh是前提）常用（1）整体启动/停止HDFS。
hadoop 安装
weixin_34088598的博客
11-19 87
安装hadoop的概要： 参考：http://blog.chinaunix.net/uid-22655236-id-3174616.html 1. 下载hadoop-1.1.0.tar.gz tar -zxvf hadoop-1.1.0.tar.gz 2. cd /usr/lib/jvm/ 找到你安装jave的路径. 然后指明jave的路径：export...
hadoop 1.0.1 安装详解-新手必备
weixin_33722405的博客
03-24 104
Hadoop安装详解--新手必备准备：这次学习，我使用的是虚拟机vmware，安装了3台虚拟机，系统为centos5（其它版本亦可），主机名依次命名为hdfs1、hdfs2、hdfs3，ip地址一次为：172.16.16.1、172.16.16.10、172.16.16.11通过配置/etc/sysconfig/network修改主机名通过修改/etc/sysconfi...
Hadoop安装详解：Linux环境下Master与Slave部署与问题解决方案
Hadoop安装详解步骤教程 Hadoop是一个开源的分布式计算平台，由Apache软件基金会支持，主要用于处理大规模数据集。它主要依赖于两个核心组件：Hadoop分布式文件系统 (HDFS) 和 MapReduce 框架。HDFS是一个分布式...
Windows环境下Hadoop搭建教程：从JDK到Hadoop安装详解
6. **Cygwin版本兼容性注意**：在安装Hadoop时，需要确保使用的Cygwin版本与Hadoop版本兼容，这里给出的是hadoop-0.20.1的安装示例，实际操作时应检查版本是否匹配。 这个过程涉及到了Windows环境下Hadoop基础环境...
Hadoop技术详解.Hadoop Operation
11-01
总之，《Hadoop技术详解》这本书会深入讲解Hadoop的各个方面，包括其核心组件、生态系统、安装配置、操作与管理，以及性能优化和安全策略。对于希望深入理解和操作Hadoop的读者来说，这是一本不可或缺的参考资料。...
hadoop安装
12-31
安装hadoop，spark，HBASE详细步骤，以及包含一些基本操作
Hadoop的简介和安装详解
06-28 3127
1.Hadoop2.0简述[1] 与之前的稳定的hadoop-1.x相比，Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。 　　HDFS:为了保证name服务器的规模水平，开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的，它们之间不需要相互协调。Datanode可以为所有Namen
Hadoop安装配置详解
牧羊少年
04-15 1999
最近听大数据说得比较多，也是有些好奇，于是看了一些大数据的相关视频讲解，用了业余时间配置了Hadoop的环境，也走了不少弯路，现在在这做一个总结，希望能为后来配置环境的一个借鉴。 首先，要准备安装需要的工具，列出如下： 1.VM ware虚拟机 2.Linux系统镜像：centos7.0 3.Linux下的jdk包 4.Hadoop包 5.secureCRT
Hadoop安装
u011497897的博客
03-08 1429
环境：Ubuntu 12.04 步骤： 1.创建hadoop用户组 $ sudo addgroup hadoop 2.创建hadoop用户 $ sudo adduser -ingroup hadoop hadoop （选择） Is the information correct? [Y/n] Y 3.为hadoop用户添加权限 $ sudo gedit /etc/s
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值