安装Hadoop（二）

最新推荐文章于 2024-11-28 11:02:27 发布
原创 最新推荐文章于 2024-11-28 11:02:27 发布 · 337 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#安装Hadoop #Hadoop #大数据

本文详细介绍Hadoop集群的搭建过程，包括虚拟机环境准备、JDK安装、SSH免密码配置、Hadoop环境搭建及各组件配置。同时，提供详细的步骤指导和截图，帮助读者快速上手。

安装Hadoop的预备内容

安装Hadoop之前，我们首先要安装以下两个软件

  • VMware Workstation
  • CentOS6.5
    虚拟机安装完成后，我们要在虚拟机中安装以下两个必要程序

1.JDK1.7或更高版本
2.SSH(安全外壳协议)，主要用于主机间的免密码登录。Hadoop需要通过SSH来启动Slave列表(Hadoop组件集群中分为Master和Slave两个角色，Master是管理者，Slave是被管理者，是存储数据的主机列表，通常由Master启动Slave。)中各台主机的守护进程，这里推荐OpenSSH。一般默认CentOS已经安装了OpenSSH，所以只需进行SSH配置即可。

第一步、配置静态ip

在Linux系统命令终端，执行命令

cd /etc/sysconfig/network-scripts

切换到该目录并查看该目录下的文件ifcfg-eth0，如图所示。
在这里插入图片描述
在Linx系统命令终端，执行命令
vim ifcfg-eth0，并修改文件的内容。
按“键入编辑内容编译完成后按Esc键退出编译状态，之后执行命令wq，保存并退出。 IPADDR、 NETMASK、 GATEWAY、DNS1的值可以根据自己的本机进行修改，如下所示。

DEVICE="eth0"       #设备名字
BOOTPROTO="static"    #静态ip
HWADDR="00:0C:29:ED:83:F7"      #mac地址
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"     #开启自启动
TYPE="Ethernet"   #网络类型
UUID="28354862-67a7-4a5b-9f9a-54561401f614"
IPADDR=192.168.140.128         #IP地址
NETMASK=255.255.255.0         #子网掩码
GATEWAY=192.168.140.2         #网关
DNS1=192.168.140.2            # dns

如何设置IPADDR、NETWASK、GATEWAY、DNS1，使用下面的方法：
单击VMWare WorkStation编辑菜单下的虚拟网络编辑器菜单，打开虚拟网络编辑器窗体。选择VMnet8，如下图所示。
在这里插入图片描述
单击NAT设置按钮显示下图。
在这里插入图片描述
点击DHCP设置按钮显示下图。
在这里插入图片描述
注意：

  • IPADDR是自定义的地址，但是必须和192.168.140.x匹配，x自定义

  • NETMASK在刚才的图片中显示

  • GATEWAY在刚才的图片中显示，DNS1和GATEWAY相同
    配置iP地址完毕之后，在命令终端的任意目录下，执行命令 ifconfig，查看配置效果，如图所示。
    在这里插入图片描述
    注意：执行ifconfig前必须保证网络畅通，如下图所示。
    在这里插入图片描述
    在命令终端的任意目录下重启服务，执行命令

    [root@hadoop network-scripts]# reboot

ping ip地址看是否安装成功,如图所示。
在这里插入图片描述
注意：执行ping前必须保证网络畅通，按ctrl+z退出

修改主机名和域名映射

启动命令终端，在任何目录下执行命令cd /etc/sysconfig，切换到该目录并查看目录下的文件，可以发现存在文件 network，如图所示。在这里插入图片描述
在/etc/sysconfig目录下找到文件 network，然后执行命令 vim network，按“i”进入编辑内容，编译完成后按Esc退出编译状态，之后执行命令wq保存并退出，如下图所示修改了主机名，主机名是我们刚才安装Linux时的主机名(hadoop是我们刚才安装时设置的主机名)。
在这里插入图片描述
修改主机名和IP地址具有映射关系，执行命令vim /etc/hosts，按“i”进入编辑内容，编译完成后按Esc退出编译状态，之后执行命令wq保存并退出，如图所示。
在这里插入图片描述
前面是设置的静态IP地址，后面的是主机名。
一旦修改过主机名和域名映射，重启Linux会显示下图。
在这里插入图片描述

JDK的安装和配置

前面有讲过
地址：JDK的安装和配置

SSH免密码配置

SSH是 Secure Shell的缩写，由IETF的网络工作小组制定。SSH是建立在应用层和传输层上的安全协议，专为远程登录会话和其他网络服务提供安全性的协议。
Hadoop集群的节点之间的通信应该设置为不用密码交互，否则节点之间每次通信都需要输入密码，会给集群运行带来很大麻烦。使用SSH公钥登录可以解决这个问题，省略掉节点通信需要输入密码的步骤。
先在本机上实现SSH免密码登录实质上是使用一对加密字符串，一个称为公钥，另一个称为私钥。公钥对任何人都可见，而私钥仅对拥有者可见。
(1)在Linux系统的终端的任何目录下通过切换cd ~/.ssh，进入到.ssh目录下。

[root@hadoop Desktop]# cd ~/.ssh

~表示当前用户的home目录，通过cd ~可以进入到你的home目录。.开头的文件表示隐藏文件，这里.ssh就是隐藏目录文件。
(2)在Linux系统命令框的.ssh目录下，执行ssh-keygen命令。

[root@hadoop .ssh]# ssh-keygen  -t  rsa

在这里插入图片描述
(连续按三次回车)执行完上面命令后，会生成两个id_rsa(私钥)、id_rsa.pub(公钥)两个文件，如图所示。
在这里插入图片描述
(3)授权SSH免密码

[root@hadoop .ssh]# ssh-copy-id  hadoop

相当于该主机给自己设置免密码登录，hadoop是刚才设置的主机名。根据提示输入yes并输入访问主机所需要的密码。
在这里插入图片描述
在这里插入图片描述
(4)执行ssh Hadoop命令，发现不需要密码就能使用ssh命令连接Hadoop主机了。

[root@hadoop .ssh]# ssh  hadoop

在这里插入图片描述
如图所示,注意hadoop是刚才设置的主机名。
注意一旦执行ssh命令后，需要使用exit命令注销ssh连接。
如果没有执行步骤(3)，会显示下面的信息，如下图所示。
在这里插入图片描述

Hadoop环境的搭建

Hadoop的组件配置，均可以利用XML文件进行配置，有以下的5个配置文件，具体配置作用见表3.1。这些文件都存储在hadoop安装目录下的etc/hadoop子目录中。

配置文件名配置文件功能
etc/hadoop/hadoop-env.sh配置JAVA_HOME
core-site.xml配置通用属性
hdfs-site.xml配置HDFS的属性
mapred-site.xml配置MapReduce属性
yarn-site.xml配置YARN属性

  1. 启动 Linux命令终端

    [root@hadoop Desktop]# mkdir/usr/hadoop

    [root@hadoop Desktop]# cd /usr/hadoop
    切换到该目录下,把Hadoop文件上传到该目录下

  2. 然后对/usr/hadoop目录下的Hadoop压缩文件hadoop-2.6.5.tar.gz

    [root@hadoop hadoop]# tar -zxvf hadoop-2.6.5.tar.gz -C /usr/hadoop
    -C是指解压压缩包到指定位置

    [root@hadoop hadoop]# ls
    hadoop-2.6.5 hadoop-2.6.5.tar.gz
    解压缩后的目录为hadoop-2.6.5，这个目录是$HADOOP_NAME。

  3. 切换到$HADOOP_NAME/etc/hadoop 目录下并查看该目录下的包。

    [root@hadoop hadoop]# ls
    在这里插入图片描述

  4. 在$HADOOP_NAME/etc/hadoop目录下

    [root@hadoop hadoop]# vim hadoop-env.sh
    按“i”键进入编辑内容，在文件中修改如下内容。
    # The java implementation to use.
    export JAVA_HOME=${JAVA_HOME}
    修改为
    export JAVA_HOME=/usr/java/jdk1.8.0_181
    修改完成后，按ESC退出编辑状态，之后执行命令wq保存并退出。
    在这里插入图片描述
    5.一共修改4个配置文件
    在$HADOOP_NAME/etc/hadoop目录下执行命令vim core-site.xml,并修改配置文件core-site.xml
    在这里插入图片描述
    在$HADOOP_NAME/etc/hadoop目录下执行命令vim hdfs-site.xml,并修改配置文件hdfs-site.xml
    在这里插入图片描述
    在$HADOOP_NAME/etc/hadoop目录下查看是否有配置文件mapred-site.xml。目录下默认情况下没有该文件，可通过执行命令，修改一个文件的命名
    在这里插入图片描述
    在$HADOOP_NAME/etc/hadoop目录下执行命令vim yarn-site.xml,并修改配置文件yarn-site.xml
    修改信息为
    在这里插入图片描述
    执行命令vi /etc/profile，把Hadoop的安装目录配置到环境变量中，如图在这里插入图片描述
    然后让配置文件生效，执行命令

    [root@hadoop Desktop]# source /etc/profile

格式化namenode。在任意目录下（配置Hadoop环境变量的情况下）执行命令

[root@hadoop Desktop]# hdfs namenode  -format

或者

[root@hadoop Desktop]# hadoop namenode  -format

实现格式化。
启动Hadoop进程，首先启动HDFS系统，在$HADOOP_NAME/sbin目录下

[root@hadoop sbin]# ./start-dfs.sh

然后用jps查看进程，如图
在这里插入图片描述
启动YARN，在$HADOOP_NAME/sbin目录下，执行命令

[root@hadoop sbin]#  ./start-yarn.sh

然后用jps查看进程，如图
在这里插入图片描述
注意：执行hadoop代码时，有时会产生下面的异常：

18/12/18 06:56:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

需要修改
$HADOOP_HOME/etc/hadoop/log4j.properties文件，添加以下内容。

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

测试HDFS和YARN,首先在浏览器地址栏中输入http://192.168.140.128:50070 下面显示HDFS管理界面，如下图所示。
在这里插入图片描述
在浏览器的地址栏输入http://192.168.140.128:8088
下面显示MapReduce的管理页面，如下图所示。
在这里插入图片描述

注意：上面的IP地址必须是第二章2.4.1设置的本地IP。
关闭HDFS系统，在$HADOOP_NAME/sbin目录下，执行命令

[root@hadoop sbin]#  ./stop-dfs.sh

关闭YARN系统，在$HADOOP_NAME/sbin目录下，执行命令

[root@hadoop sbin]#  ./stop-yarn.sh
Hadoop的安装与调试（2）
qq_57410114的博客
09-11 1171
进入虚拟机，先登录用户，接下来用以下命令创建三个文件夹。 四.虚拟机的克隆 1.先关闭虚拟机 2.开始克隆 ①右键点击刚才创建的虚拟机>管理>克隆 ②！！！！！！此部分没有展示的全是默认选项 ！！！此部分的名称改为辨识度高的，例如UP在（1）里面说的hadoop01、02、03。位置也放在UP在（1）里面推荐的二级文件夹的hadoop02中。 创建hadoop03的操作和hadoop02一样！！ 创建完如图，到此虚拟机的数...
实验1-安装Hadoop1
08-08
**实验1-安装Hadoop1**\n\n在IT领域，大数据处理是一个不可或缺的部分，而Hadoop作为开源的大数据处理框架，是实现这一目标的重要工具。本实验将引导你完成在CentOS 6操作系统上安装Hadoop的过程，涵盖单机模式、伪...
hadoop命令
wq123123423432的博客
10-13 338
start-all.sh = start-dfs.sh+start-yarn.sh 
【Hadoop】Windows下安装Hadoop（手把手包成功安装）
热门推荐
tttzzzqqq2018的博客
07-26 5万+
【实操】Windows下安装Hadoop（手把手包成功安装）
Hadoop安装
cingdy0124的博客
09-22 2611
Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，分布式模式。
Windows 安装hadoop 3.1.3
爱思考的People
04-07 3813
复制一份 hadoop-yarn-server-timelineservice-3.1.3.jar。把下载的hadoop-3.1.3.tar.gz压缩包解压到自己要安装的位置。（2）在path变量中添加 hadoop的 bin 和 sbin 路径。（1）创建系统变量 HADOOP_HOME，变量值为解压的目录。（3）编辑文件mapred-site.xml,添加。（1）配置文件core-site.xml,添加。（2）编辑文件hdfs-site.xml,添加。（4）编辑文件yarn-site.xml，添加。
MAC系统安装Hadoop
weixin_45535519的博客
12-09 1464
MAC系统安装Hadoop
Centos 安装hadoop集群
cat91的博客
07-20 1766
Hadoop生态体系中总共会出现如下进程角色：Hadoop HDFS的管理角色：Namenode进程（仅需1个即可（管理者））Hadoop HDFS的工作角色：Datanode进程（多个（工人，越多越好，一个机器启动一个））Hadoop YARN的管理角色：ResourceManager进程（仅需1个即可（管理者））Hadoop YARN的工作角色：NodeManager进程（多个（工人，越多越好，一个机器启动一个））
docker安装hadoop环境
最新发布
susu1083018911的博客
11-28 1633
docker安装hadoop环境
Hadoop 安装与配置
weixin_43571612的博客
02-22 4万+
hadoop在Ubantu中的安装与配置
Hadoop完全分布式安装
2401_82567159的博客
07-31 1687
打开浏览器，在浏览器地址栏中输入以下地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/。​ 动态分配的IP地址是临时的，它会在一定时间内释放该IP地址供其他机器使用，因此使用该方式获取的IP地址不是固定的，这样会导致集群不稳定。Hadoop的配置文件要修改的地方很多，请细心！​ 后续安装的集群，都需要远程登录以及远程执行命令，我们可以简单起见，配置三台Linux服务器之间的免密码互相SSH登陆。克隆master节点。
eclipse安装Hadoop插件
01-12
### Eclipse安装Hadoop插件详解 #### 一、前言 随着大数据技术的快速发展，Hadoop作为处理海量数据的重要工具之一，其应用越来越广泛。为了更好地利用Eclipse进行Hadoop程序开发，安装Hadoop Eclipse插件是十分...
hadoop安装
12-05
二、安装 Hadoop Hadoop 的安装与 JDK 类似，只是配置环境时，多了一个 PATH 变量。 1. 安装 Hadoop 首先，我们需要将 Hadoop 的安装包下载到 ~/Download 目录下。然后，我们需要将其解压缩到 /soft 目录下，并...
Windows环境安装Hadoop.docx
04-26
- **来源**：从Apache官方网站下载适合Windows的Hadoop二进制发行版。 - **解压**：选择一个合适的目录（例如`C:\hadoop`）解压下载的Hadoop压缩包。 #### 三、Hadoop配置 **1. 配置环境变量** - **HADOOP_HOME*...
hadoop2 安装
06-28
### Hadoop 2 的安装与配置详解 #### 一、Hadoop 2 概述 Hadoop 是一个能够对大量数据进行分布式处理的软件框架，它由Apache基金会开发。Hadoop 最初的设计是为了处理海量数据的存储和计算需求，通过将大数据集...
架设Zookeeper集群尝试
qq_33890533的博客
06-12 3996
首先，创建三台服务器 在一台电脑上安装VMWare Workstation。在VM上安装三台Linux，分别是1个主节点，2个从节点，如下图所示。 注意：这3个节点的IP地址在实际搭建时会有所不同。 第一步 在master上启动 Linux命令终端，创建目录mkdir /usr/zookeeper，执行命令cd /usr/zookeeper，切换到该目录下，把zookeeper文件上传到该目录下...
Zookeeper之ACL和进程协作
qq_33890533的博客
06-12 2920
实现节点的增删 打开 Eclipse开发工具，单击File选择“New”→“ Java project”，新建名称 为“zookeeper”的Java项目，单击右键“zookeeper项目，选择“New”→“ Package”。 输入包名称“ cn.dzqc.zk" 新建java类，选中包名并单击右键，选择“New”→“Class” 在name项输入“ZookeeperDemo"类名称 在创建的...
JAVA编写Hadoop二次排序程序
qq_33890533的博客
06-11 1956
运行效果如下 1.输入数据 目标输出 一、创建项目 打开eclipse，新建一个工程。“file” ->“New” ->“other”,select a wizard中选择“Map/Reduce Project”，输入工程名 二、编写程序 选择src，单击右键，选择“New”→“ Package”，输入包名，点击“Finish” 选择包名，点击右键，选择“New”→“Clas...
在eclipse上安装Hadoop插件
qq_33890533的博客
06-06 1374
第一步 在D盘下创建Hadoop目录，将Hadoop-2.6.5复制到Hadoop目录下。 (1)复制hadoop-eclipse-plugin-2.5.2.jar 到 eclipse安装目录/plugins/ 下,把hadoop.dll放到c:/windows/system32下，把winutils.exe放到Hadoop的安装目录如D:\Hadoop\hadoop-2.6.5\bin\下替换原...
CentOS安装Hadoop详细指南
"超详细CentOS_安装Hadoop" 在本文档中，我们将深入探讨如何在CentOS 6.4操作系统上安装和配置Hadoop，这是一个适用于初学者的指南。Hadoop是一个开源的分布式计算框架，它包括两个核心组件：Hadoop 分布式文件系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值