Hadoop 2.7.2版本单机搭建

最新推荐文章于 2024-07-18 14:06:55 发布

吃顿好的

最新推荐文章于 2024-07-18 14:06:55 发布

阅读量744

点赞数

分类专栏： hadoop 文章标签： hadoop 大数据 linux

本文链接：https://blog.youkuaiyun.com/qq_39800434/article/details/107187488

版权

本文详细介绍了如何在Linux环境下搭建Hadoop 2.7.2版本的单机模式。包括安装Java环境、下载Hadoop压缩包、配置环境变量、修改配置文件如core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml，以及启动HDFS和YARN服务。并提供了本地运行模式下的grep和wordcount测试用例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装java环境

这里安装的是1.8.0_211版本

下载hadoop压缩包

各版本的Hadoop安装包下载地址：http://archive.apache.org/dist/hadoop/common/
这里选择2.7.2。

mkdir /home/hadoop
cd /home/hadoop
wget http://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
tar -zxvf hadoop-2.7.2.tar.gz
cd hadoop-2.7.2

设置环境变量

vim /etc/profile
# 在最后面增加如下两行代码
export HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 保存退出
source /etc/profile

修改运行文件的JAVA_HOME

vim etc/hadopp/hadoop-env.sh
然后修改export JAVA_HOME=${JAVA_HOME}为export JAVA_HOME=/home/java/jdk1.8.0_211

vim etc/hadopp/yarn-env.sh
然后将# export JAVA_HOME=/home/y/libexec/jdk1.6.0为export JAVA_HOME=/home/java/jdk1.8.0_211

vim etc/hadoop/mapred-env.sh
然后将# export JAVA_HOME=/home/y/libexec/jdk1.6.0为export JAVA_HOME=/home/java/jdk1.8.0_211

本地运行模式

此模式下都是使用的本地目录

grep测试用例

mkdir input
cp etc/hadoop/*.xml input
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
cat output/*
# 输出结果
1	dfsadmin