Hadoop安装与配置（CentOS7、伪分布式、单节点）

最新推荐文章于 2024-12-02 16:29:36 发布
原创 最新推荐文章于 2024-12-02 16:29:36 发布 · 339 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #linux

本文详细介绍了如何在CentOS7系统上进行Hadoop的安装与配置，包括虚拟机安装、主机配置、解压安装包、文件配置以及Hadoop的启动、访问和关闭步骤。在配置过程中，涉及到了JAVA_HOME设置、Hadoop环境变量配置、HDFS、YARN等核心组件的配置，并提供了HDFS和YARN的管理界面访问地址。

目录


本文用到的安装包
jdk（Linux）提取码: tmxp
Hadoop安装包提取码: vcfg

一、安装Linux虚拟机（系统：CentOS7）

安装链接如下（主机网卡地址自定义）
Linux 虚拟机安装

二、配置主机

  1. 修改主机名
hostnamectl set-hostname hadoop101
  1. 添加主机列表
vi /etc/hosts

在这里插入图片描述
3. 配置密钥（回车两次）

ssh-keygen -t rsa -P ""

在这里插入图片描述

  1. 复制私钥到公钥
cat /root/.ssh/id_rsa.pub > /root/.ssh/autorized_keys
  1. 开启免密登录
ssh-copy-id -i .ssh/id_rsa.pub -p22 root@hadoop101
#chmod 600 /root/.ssh/autorized_keys

在这里插入图片描述
6. 测试连接，并退出

ssh -p 22 root@192.168.19.101
exit

在这里插入图片描述

三、解压安装包

  1. 将安装包放在opt目录下，并在opt目录下创建包soft
mkdir /opt/soft
  1. 将jdk与Hadoop解压到opt/soft目录
tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt/soft
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/soft
tar -xvf hadoop-native-64-2.6.0.tar -C /opt/soft
  1. 可以删除安装包
rm -rf *
  1. 切换到opt目录下
 cd /opt/
  1. 对jdk1.8.0_221包与 hadoop-2.6.0-cdh5.14.2包进行改名
mv hadoop-2.6.0-cdh5.14.2/ hadoop260
mv jdk1.8.0_221/ java8
  1. 将关于lib的文件移到hadoop/lib/native文件夹下，并复制到hadoop/lib/文件下
mv lib* /opt/soft/hadoop260/lib/native/
cp /opt/soft/hadoop260/lib/native/lib* /opt/soft/hadoop260/lib/

四、文件配置

  1. 配置jdk环境变量与hadoop环境
vi /etc/profile

export JAVA_HOME=/opt/soft/java8
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/rt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
  • 使环境变量及时生效
source /etc/profile
  • 测试环境变量的配置是否成功
java -version
javac
echo $JAVA_HOME

在这里插入图片描述

  1. Hadoop文件配置（进入Hadoop文件目录下执行命令 cd /opt/soft/hadoop260/etc/hadoop）
  • 配置hadoop-env.sh文件 （修改JAVA_HOME）
vi hadoop-env.sh
  • 找到JAVA_HOME并更改（25行）
export JAVA_HOME=/opt/soft/java8
  • 配置core-site.xml文件
vi core-site.xml

<configuration>
 <!-- 默认的文件系统的名称。通常指定namenode的URI地址，包括主机和端口 -->
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://192.168.19.101:9000</value>
 </property>
 <!-- 其他临时目录的父目录 -->
 <property>
  <name>hadoop.tmp.dir</name>
   <value>/opt/soft/hadoop260/tmp</value>
 </property>
 <!-- 其他机器的root用户可访问 -->
 <property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
 </property>
 <!-- 其他root组下的用户都可以访问 -->
 <property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
 </property>
</configuration>
  • 配置hdfs-site.xml文件
vi hdfs-site.xml

<configuration>
<!--指定dataNode存储block的副本数量-->
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <!--是否开启权限检查，建议开启-->
 <property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
 </property>
</configuration>
  • 配置mapred-site.xml文件
    注：将mapred-site.xml.template改名为mapred-site.xml或者复制一份mapred-site.xml.template并改名为mapred-site.xml
mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<configuration>
 <!-- mapreduce的工作模式:yarn -->
 <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
 </property>
</configuration>

注：使用jobhistory，添加下面

<!-- mapreduce的工作地址 -->
 <property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop101:10020</value>
 </property>
 <!-- web页面访问历史服务端口的配置 -->
 <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>hadoop101:19888</value>
 </property>
  • 配置yarn-site.xml文件
vi yarn-site.xml

<configuration>
 <!-- Site specific YARN configuration properties -->
 <!-- reducer获取数据方式 -->
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定YARN的ResourceManager的地址 -->
 <property>
  <name>yarn.resourcemanager.hostname</name>
  <value>hadoop101</value>
 </property>
</configuration>
  • 配置slaves（单节点可不配）
vi slaves

hadoop101
  1. 格式化HDFS
hadoop namenode -format

注：不报erro即成功，报错则根据erro进行文件修改后在格式化

五、Hadoop运行、访问与关闭

  1. 启动Hadoop(启动脚本和停止脚本在 /opt/soft/hadoop260/sbin 目录下)
  • 启动
start-all.sh
  • 启动历史服务（根据你在mapred-site.xml中是否添加jobhistory）
mr-jobhistory-daemon.sh start historyserver
  1. 测试Hadoop是否启动成功
    输入jps命令，若出现除jps进程的以下六个进程说明启动成功
    在这里插入图片描述
    注：如果不全，首先stop-all.sh 在查看日志，根据日志信息error修改对应的文件，然后删掉临时文件父目录/opt/soft/hadoop260/tmp与logs， 重新格式化 再启动 （如果存在进程正在启动中则干掉相应进程在重新启动）
  • HDFS页面：http://192.168.19.101:50070
    在这里插入图片描述
  • YARN的管理界面：http://192.168.19.101:8088
    在这里插入图片描述
  • web页面访问历史：http://192.168.19.101:19888/
    在这里插入图片描述
  1. 关闭Hadoop

方式一：

  • 关闭所有(如果要关闭单个进入sbin目录进行查看 cd /opt/soft/hadoop260/sbin/)
stop-all.sh
  • 关闭历史服务
mr-jobhistory-daemon.sh stop historyserver

方式二(停止进程，但不建议容易丢失数据)：

kill -9 [pid]
  • 退出linux
poweroff
#或
#shutdown

注：
Hadoop集群、ZooKpeeper、HBase、Hive搭建（系统centos7.0）搭建

KingWeiGG
关注
centos7安装hadoop伪分布式
qq_51478862的博客
09-30 779
一，准备工作 1，创建hadoop用户 useradd -m hadoop -s /bin/bash #创建用户 passwd hadoop #设置密码 为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，执行下面代码添加权限 visudo 找到 root ALL=(ALL) ALL 这行（应该在第98行，可以先按一下键盘上的 ESC 键，然后输入 :100 (按一下冒号，接着输入98，再按回车键)，可以直接跳到第100行 ），然后在这行下面增加一行内容：hadoop
Hadoop安装教程_伪分布式配置_CentOS6.4_Hadoop2.61
08-03
本教程针对的是在CentOS 6.4操作系统上安装Hadoop 2.6.0的伪分布式配置，这种配置方式适合初学者和开发者进行本地测试和学习，它在一个单一节点上模拟分布式环境。 **环境准备** 在开始安装前，确保你的系统是...
Hadoop环境变量配置
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
12-12 1万+
Hadoop环境变量配置 1.一旦 Hadoop 集群启动并运行，可以通过 web-ui 进行集群查看，如下所述： NameNode（HDFS管理界面）：192.168.25.100:50070 或 node1:50070 ResourceManager（MR管理界面）：http://192.168.25.100:8088 或 node1:8088 2.配置 win...
Windows 下Hadoop的环境变量配置
热门推荐
浪迹的博客
08-08 2万+
一、安装JDK 1、下载路径：http://www.oracle.com/technetwork/java/javase/downloads/index.html 2、安装到C:\Java\jdk1.8.0_121（安装时不要安装到有空格的目录路径中，这样Hadoop在找JAVA_HOME的时候会找不到） 二、配置Java环境变量 1、JAVA_HOME : C:\Java\jdk1.8.
hadoop环境变量的配置
weixin_41259437的博客
02-15 3110
hadoop环境变量的配置 转载链接：https://www.cnblogs.com/lcycn/p/8595945.html 1.首先需要下载 hadoop的tar.gz包，目前最新版本是2.9.0 下载地址： 文件共享在最下面 http://hadoop.apache.org/releases.html 前提是JDK必须配置成功 我的hadoop是在 如图解压在E盘下 解压完之后...
hadoop 环境变量配置
Eric_LH的博客专栏
01-09 816
核心要点： 1.使用vim/vi/gedit等命令，打开/home/<用户名目录>/.bashrc文件gedit /home/hadoop/.bashrc2.对.bashrc文件执行source命令，使设置立即生效source /home/hadoop/.bashrc 在我的电脑上： hadoop的路径是： /usr/lib/hadoop hive的路径是： /usr/lib/hive找
hadoop的环境变量配置
Z17562766873的博客
12-02 1868
在该窗口中点击[新建]，然后输出上图中最后两行内容，指出hadoop中的bin目录和sbin目录,其中%表示引用这个变量名下的变量值，分号表示多个变量环境之间的间隔，这里相当于引用了HADOOP_HOME中的值F:\hadoop-3.3.0，再跟后面的bin和sbin拼接在一起，结合起来就是路径F:\hadoop-3.3.0\sbin目录和F:\hadoop-3.3.0\bin目录。下载安装包之后，解压安装包，自己选择文件夹进行解压，不过要注意文件夹和目录的名称，解压完成之后进行本地环境变量的配置。
Hadoop3.1.3安装和单机/伪分布式配置
06-21
### Hadoop3.1.3安装与单机/伪分布式配置知识点详解 #### 一、实验目的和要求 - **掌握Hadoop3.1.3的安装与配置**：包括单机模式和伪分布式模式。 - **理解Hadoop的工作原理**：特别是其在不同模式下的运行机制。 ...
精选资源
【大数据技术】Hadoop分布式集群安装配置：CentOS7环境下从虚拟机搭建到集群启动的全流程指南
06-11
首先介绍了安装环境，包括虚拟机系统CentOS7和所需软件包，如VMware Workstation Pro、CentOS7-Minimal、Hadoop（2.10.1）、JDK（1.8.0）。接着详细描述了安装步骤，包括创建和配置Linux虚拟机、克隆虚拟机、网络...
基于CentOS虚拟机的Hadoop集群配置（从伪分布式到完全分布式）
最新发布
12-26
在今天的数字时代，大数据处理已成为众多行业分析信息、提取价值的关键。...本篇内容旨在为读者提供一个从零开始详细配置Hadoop集群的指南，帮助管理员顺利完成从伪分布式到完全分布式环境的搭建。
hadoop环境变量配置
liuygvip的博客
10-26 1236
第一步：配置hadoop home 第二步：配置path 第三步：测试 cmd>hadoop version 报错！ 原因是jdk的路径有空格 修改成： C:\PROGRA~1\Java\jdk1.8.0_152 如下图：
配置Hadoop环境变量
方法属性类，一个都不会
08-07 1336
1.修改etc文件夹下的profile 2.在profile文件里面配置 export PATH=$PATH:/opt/hadoop/hadoop-2.6.0/sbin:/opt/hadoop/hadoop-2.6.0/bin 如图： 3.配置好之后，使文件生效： source /etc/profile 4.验证： hadoop version 返回： 成功！ ...
配置hadoop环境变量
2301_80318713的博客
03-28 2117
在master虚拟机中上传hadoop-3.1.4.tar.gz压缩包安装到目录/opt/software下。配置完Hadoop环境变量后生效环境变量的配置 source /etc/profile。验证Hadoop环境变量是否成功 hadoop version。hadoopl路径：进入Hadoop文件夹下。生效命令：scource /etc/profile。HADOOP_HOME=（Hadoop路径）验证：hadoop version。配置Hadoop环境变量。
Hadoop配置环境变量
大黄的博客
09-15 1万+
为了在任何目录下都能直接使用hdfs或者yarn命令（或者启动关闭hadoop），我们需要配置Hadoop的环境变量。 命令如下： sudo vi /etc/profile 环境变量配置为如下所示： export HADOOP_HOME=/home/lemaker/open-source/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 第一行的的HADOOP_HOME是你的hadoop安装的位置。 然后保存环境变量，千万
hadoop配置环境变量
shawn的博客
04-09 430
打开配置文件 vim ~/.bash_profile 添加环境变量 # hadoop export HADOOP_HOME=/Users/shawn/Documents/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_...
hadoop环境搭建之环境变量配置
slight0908的专栏
01-16 1218
刚刚接触hadoop和linux，以此来记录学习的过程和点滴。 一：自己新建的用户没有修改/etc/profile文件和sudo命令的权限：         进入root用户，chmod u+w /etc/sudoers   添加写权限           vim /etc/sudoers  :编辑文件  在 root ...下一行加入: xxx(自己建的用户名)    ALL
hadoop环境变量配置及启动
OhHusky的博客
08-11 4775
一.环境变量配置 cd /etc/environment在文件末尾添加如下： export HADOOP_INSTALL=/usr/local/hadoop #hadoop的安装目录export PATH=PATH:HADOOP_INSTALL/binexport PATH=PATH:HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOO
3.【hadoop集群搭建】配置Hadoop环境变量
YANG_xiao_QI的博客
11-16 1万+
1.进入/hadoop目录,执行rz命令 cd /hadoop/ rz #上传hadoop 安装包 2.解压hadoop安装包 tar -xvzf /hadoop/hadoop-2.6.0.tar.gz
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值