CentOS7 HADOOP的安装

CentOS7下Hadoop3.1.3的详细安装教程
最新推荐文章于 2024-07-16 05:41:11 发布
原创 最新推荐文章于 2024-07-16 05:41:11 发布 · 512 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #hadoop

本文档详细介绍了在CentOS7上安装Hadoop3.1.3的步骤，包括环境配置、免密登录、配置Hadoop相关文件、启动服务、日志查看及Windows环境变量配置等。通过这些步骤，读者可以成功搭建并运行Hadoop集群。

hadoop安装

CentOs7 HADOOP的安装

1、安装步骤：

1、把Hadoop313拖进opt/downdoal下

在这里插入图片描述

2、免密登录

#解压hadoop文件
tar -zxf hadoop-3.1.3.tar.gz -C /opt/software				
 
#重命名 
mv /opt/sofware/hadoop* /opt/software/hadoop313

cd~

#设置密钥
ssh-keygen -t rsa

在这里插入图片描述

cat /root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys

#测试一下你能不能免密进入，singlebrown是我的主机名，你们自己用hostname查看自己的主机名
 ssh root@singlebrown

3 配置环境

vim /etc/profile.d/myenv.sh

#在shell文档里输入一下内容，建议复制粘贴，敲错一点会炸穿的哦~
#hadoop
export HADOOP_HOME=/opt/software/hadoop313
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop


#接下来对四个文件处理
#core-site.xml	hdfs-site.xml	yarn-site.xml	mapred-site.xml
vim /opt/software/hadoop313/etc/hadoop/core-site.xml
#在这个文档里输入（记得更改自己ip地址和用户名，四个文件都要修改，不能照搬我的！）
<!--配置namenode的地址 外部访问hadoop-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://192.168.75.245:9820</value>
	</property>
	<!--配置数据存储目录 数据文件存放数据的 namenode-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/software/hadoop313/data</value>
	</property>
	<!--配置HDFS网页登录使用的静态用户为root 代理 have以root的身份访问hadoop-->
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>root</value>
	</property>
	<!--配置root(超级用户)允许通过代理访问的主机节点-->
	<property>
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	<!--配置root(超级用户)允许通过代理用户所属组-->
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
	</property>
	<!--配置root(超级用户)允许通过代理的用户-->
	<property>
		<name>hadoop.proxyuser.root.user</name>
		<value>*</value>
	</property>

#第二个文档
vim hdfs-site.xml
#输入
<!--配置namenode web访问地址-->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>192.168.75.245:9870</value>
	</property>
	<!--配置secondary namenode web访问地址-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>192.168.75.245:9868</value>
	</property>
	<!--配置hdfs副本数量 备份机器数-->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>


#第三个文档
vim yarn-site.xml
#输入
<!--配置mr的执行方式-->
	<property>
	    <name>yarn.nodemanager.aux-services</name>
	    <value>mapreduce_shuffle</value>
	</property>
	<!--配置ResourceManager的地址-->
	<property>
	    <name>yarn.resourcemanager.hostname</name>
	    <value>singlebrown</value>
	</property>
	<!--配置环境变量的继承-->
	<property>
	    <name>yarn.nodemanager.env-whitelist</name>
	    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>
	<!--yarn初始申请内存大小-->
	<property>
       	 <name>yarn.app.mapreduce.am.resource.mb</name>
       	 <value>1024</value>
  	 </property>
	<!--配置yarn容器允许分配的最小内存-->
	<property>
	    <name>yarn.scheduler.minimum-allocation-mb</name>
	    <value>1024</value>
	</property>
	<!--配置yarn容器允许分配的最大内存-->
	<property>
	    <name>yarn.scheduler.maximum-allocation-mb</name>
	    <value>3072</value>
	</property>
	<!--配置yarn容器允许管理的物理内存大小-->
	<property>
	    <name>yarn.nodemanager.resource.memory-mb</name>
	    <value>3072</value>
	</property>
	<!--配置关闭yarn对物理内存和虚拟内存的限制检查，
	     	     	jdk8运行于centos以上版本会导致虚拟内存过大-->
	<property>
	    <name>yarn.nodemanager.pmem-check-enabled</name>
	    <value>false</value>
	</property>
	<!--配置关闭yarn对物理内存和虚拟内存的限制检查-->
	<property>
	    <name>yarn.nodemanager.vmem-check-enabled</name>
	    <value>false</value>
	</property>
	<!--开启日志聚集-->
	<property>
	    <name>yarn.log-aggregation-enable</name>
	    <value>true</value>
	</property>
	<!--配置日志聚集服务器地址-->
	<property>
	    <name>yarn.log.server.url</name>
	    <value>http://192.168.75.245:19888/jobhistory/logs</value>
	</property>
	<!--配置日志保留时间为7天-->
	<property>
	    <name>yarn.log-aggregation.retain-seconds</name>
	    <value>604800</value>
	</property>


#第四个文档
vim mapred-site.xml
#输入
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!--配置历史服务器地址-->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>192.168.75.245:10020</value>
	</property>
	<!--配置历史服务器web端地址-->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>192.168.75.245:19888</value>
	</property>
	<!--这一下的代码是为了解决 yarn不能找到包的问题 因为我们的机器没有出这样的错误所以下面的代码未测试 -->

	<!---property>
  		<name>yarn.app.mapreduce.am.env</name>
  		<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
	</property>
	<property>
  		<name>mapreduce.map.env</name>
  		<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
	</property>
	<property>
  		<name>mapreduce.reduce.env</name>
  		<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
	</property  -->

四个文档配置完成后，
切换目录

cd /opt/software/hadoop313/bin

#输入
./hdfs namenode -format

在这里插入图片描述
如果显示如上图，成功了

#然后开启服务
start-all.sh

4 log文件查看

接下里创建一个log，如何在服务器里查看自己创建的log文件

[root@singlebrown script]# vim daimin.log
[root@singlebrown script]# hdfs dfs -mkdir /input
[root@singlebrown script]# hdfs dfs -ls /
Found 1 items
drwxr-xr-x   - root supergroup          0 2021-06-07 16:41 /input
[root@singlebrown script]# hdfs dfs -put daimin.log /input
2021-06-07 16:42:38,176 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
[root@singlebrown script]# hdfs dfs -cat /input/*
2021-06-07 16:42:57,531 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

iwos hfs hsiao!

接着如何查看daimin.log日志里的内容的单词的数量呢

#切换目录
vim /opt/software/hadoop313/share/hadoop/mapareduce

#再输入下面的指令
hadoop jar hadop-mapredure-3.1.3.jar wordcount /input/daimin.log /output
#结果如下图

在这里插入图片描述

#查看output的指令
hdfs dfs -cat/out/part*

5、配置windows的环境变量

在环境变量里增加两条：
在这里插入图片描述
然后再path里新增：
在这里插入图片描述

接下来配置windows环境下的linux中hostname和ip地址映射

在c盘里找到windows/system32/driver/etc/hosts
如图：
在这里插入图片描述
然后增加一条信息：
你的ip地址 和你的用户名
如图
在这里插入图片描述

然后hadoop.dll 文件拖到到hadoop313/bin里
winutils.exe文件拖到windows/system32里

6、最后的步骤

cd /opt/software/

tar -zcvf hadoop313.tar.gz

sz hadoop313.tar.gz
#先存放在桌面，之后操作完可以删除，这只是压缩文件

#然后以管理员身份解压桌面的hadoop313文件，解压到D:/software/hadoop313里


#退出安全模式
hadoop dfsadmin -safemode leave
【Flink】SASL encryption trust check: localHostTrusted = false, remoteHostT
九师兄
01-18 3514
1.场景1 项目场景： 将Linux系统本地的~./bashrc文件上传到HDFS的text文件夹中 问题描述： 这个玩意是正常的 并不是报错 ./bin/hdfs dfs -put ~/.bashrc test 2021-09-17 10:24:22,037 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = ./bin/hdfs dfs
Centos7 Hadoop 单机版安装教程（图文）
猿小白的博客
09-11 1099
本章教程，主要记录如何在Centos7中安装Hadoop单机版。
CentOS7下安装Hadoop
u010590120的博客
07-20 482
CentOS7下安装Hadoop集群详细过程 在Centos上安装Hadoop大概可分为，虚拟机安装、虚拟机配置、JDK安装、SSH免登陆、Hadoop安装几步 这里主要展示Hadoop的安装过程 下载hadoop 安装包并将其拷贝到 opt目录下的hadoop中，键入命令 tar -xvfhadoop-2.8.5.tar.gz解...
hadoop基本操作-002
来一杯吧
10-24 1267
hadoop
hadoop hdfs常用shell命令
qq_43224174的博客
12-10 2087
仅供自己学习和大家参考 查看帮助命令 [lqs@bdc112 hadoop-3.1.3]$ bin/hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] .
Hadoop完全分布式搭建教程（完整版）
小赵同学€的博客
03-19 6460
Hadoop完全分布式搭建流程（完整版）适合初学者参考！！！ 基于Linux的大数据Hadoop集群搭建！
centos7hadoop安装配置
xwt1130_的博客
02-02 575
通过vim /etc/hosts配置其他计算机的ip以及主机名的映射,可以直接ping设置好的主机名。解压缩,将hadoop和jdk解压到soft目录,如果觉得解压完的文件名太长可以用mv修改。将54行修改为,其中jdk180是你解压出来的目录,上面我将其修改为了jdk180。vi编辑配置文件(可以在vm中的编辑中的虚拟网络编辑器查看DHCP和NAT设置)生成秘钥(注意是大写的P),运行后再次回车,生成秘钥。修改完后重启网络,ping百度,能ping通就行。查看是否刷新成功,能出现即成功。
在Centos7中安装Hadoop详细教程
weixin_42732268的博客
07-16 2104
在末端添加以下代码，如果跟我路径一致，可直接复制，不一样的话，要注意自己安装路径，即上面上传解压的路径。第一个property中的Value:hdfs://zhang:9000/，修改主机名，比如我的主机名为zhang,端口号9000是固定的，特别注意下 主机名，可以使用。第二个property中的Value:hadoop的安装路径，opt/server/hadoop-2.8.0/data/，数据存储在data文件夹里。在配置文件夹/opt/server/hadoop-2.8.0/etc/hadoop/
centos7安装 hadoop集群
张小三的博客
06-05 2502
由于hadoop2和hadoop3的配置也需要和hadoop1的配置一致，所以只需要将hadoop1中的/usr/local/hadoop3.4.0文件夹拷贝一份到hadoop2和hadoop3机器中即可。hadoop2和hadoop3两台服务器的环境变量配置也要和hadoop1中的配置一致。在hadoop1服务器中使用以下命令将hadoop1中已经配置好的hadoop发送到hadoop2和hadoop3.使用以下命令同步时间。启动完成之后hadoop1、hadoop2、hadoop3 中都会生成对应的。
精选资源
CentOS7 Hadoop 2.7.X 安装部署.docx
04-29
CentOS7 Hadoop 2.7.X 安装部署 本文档将指导您如何在 CentOS 7 上安装和部署 Hadoop 2.7.X。Hadoop 是一个开源的大数据处理框架，由 Apache 开发，旨在提供高效、可靠、可扩展的数据处理能力。 准备软件包 在...
Hadoop3.2.0集群搭建常见注意事项
01-09
一 端口变化 3.2.0版本中namenode页面端口是9870,datanode管理端口是8088,所以需要开放这两个端口还给web页面访问 二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation hadoop-env.sh中不光需要配置java-home,还需要声明下面这些用户变量,不然无法启动: export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=ro
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
weixin_44340038的博客
08-01 1630
安装目录下找到mapred-site.xml文件（$HADOOP_HOME/etc/hadoop/mapred-site.xml）,添加以下配置。复制路径后，在Hadoop安装目录下找到。重启Hadoop集群。
hadoop-1单机模式和伪分布式和完全分布式存储
AwesomeWang7的博客
09-16 2597
hadoop大数据平台 hadoop属于底层的基础设施，一个生态当中的基础。hadoop起源于google的三大论文。GFS，MAPREDUCE和BIGTABLE。 hadoop名字来源是hadoop之父道卡廷儿子的毛绒玩具名。 我们所使用的是基于apache协议分发 常见的有三种，apache版本，cdh版本，hdp版本 本次就是要搭建一个hadoop框架，部署一个简单的大数据平台： hadoop的框架最核心的是hdfs和mapreduce，hdfs为海量数据提供存储。mapreduce为海量数据提供计算
python3 pip3 install sasl 安装失败
sinat_25052547的博客
12-06 2777
python3 pip3 install sasl 安装失败 必要安装的库
Hadoop之计算框架Tez的基本使用
积跬步，至千里。
06-21 2813
Tez是支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG 作业的性能。
Hadoop学习之路，YARN的配置与安装（2）
qq_42559628的博客
03-19 2350
Hadoop中YARN的配置 etc/hadoop/mapred-site.xml文件编辑 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> etc/hadoop/yarn-site.xm
hadoop：认识hadoop、安装hadoop、伪分布hdfs
weixin_43384009的博客
06-07 1816
hadoop1. hadoop简介2.hadoop安装3. 单节点hadoop配置，做一个伪分布式hdfs4. 完全分布式的hdfs4.1 节点的热添加(不关闭dfs基础上添加节点)4.2 mapreduce(作用运行程序) 1. hadoop简介 hadoop的核心是： HDFS: Hadoop Distributed File System 分布式文件系统 YARN: Yet Another Resource Negotiator 资源管理调度系统 Mapreduce：分布式运算框架 hadoo
简单的HDFS操作
qq_42582489的博客
03-10 3330
简单的HDFS操作 文章目录简单的HDFS操作HDFS常用Shell命令使用HDFS的Shell命令输出HDFS某一个目录下所有文件详细信息向HDFS中上传任意文本文件将HDFS中指定文件的内容输出到终端从HDFS中下载指定文件删除HDFS中指定的文件HDFS常用JavaAPI使用HDFS的JavaAPI创建工程并导入JAR包向HDFS上传任意文本文件从HDFS下载指定文件参考文章 HDFS常用S...
Hadoop怎么使用？Hadoop 3.2.1运行测试，快速学习操作指令。
Tristone的博客
12-31 3808
我安装的版本是Hadoop 3.2.1，操作系统平台是CentOS Linux 8，以下所有的操作都是在这个平台下运行的。 安装的方法参考：怎么在CentOS Linux 8上安装Hadoop？安装配置Hadoop的详细步骤 Hadoop面向客户的主要有3个模块：HDFS、YARN、MapReduce，我们将分别对这三个模块进行使用测试： HDFS使用测试 HDFS是Hadoop的分布式文件系统，...
centos7 hadoop安装前提
最新发布
06-14
### CentOS 7 上安装 Hadoop 的前提条件与环境准备 在 CentOS 7 上安装 Hadoop 需要满足一系列的前提条件和环境准备，以下是详细的说明： #### 1. 系统要求 - **操作系统版本**：确保使用的是 CentOS 7 或更高版本...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值