Hadoop 2.0：分布式环境搭建安装配置

Hadoop集群搭建
最新推荐文章于 2023-04-17 22:08:24 发布
转载 最新推荐文章于 2023-04-17 22:08:24 发布 · 857 阅读 · 0

本文详细介绍了一个包含一个NameNode和三个DataNode的Hadoop集群搭建过程，涵盖了从虚拟机环境准备到Hadoop配置的所有步骤。

集群环境：

1 NameNode(真实主机):

Linux yan-Server 3.4.36-gentoo #3 SMP Mon Apr 1 14:09:12 CST 2013 x86_64 AMD Athlon(tm) X4 750K Quad Core Processor AuthenticAMD GNU/Linux

2 DataNode1(虚拟机):

Linux node1 3.5.0-23-generic #35~precise1-Ubuntu SMP Fri Jan 25 17:13:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

3 DataNode2(虚拟机):

Linux node2 3.5.0-23-generic #35~precise1-Ubuntu SMP Fri Jan 25 17:13:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

4 DataNode3(虚拟机):

Linux node3 3.5.0-23-generic #35~precise1-Ubuntu SMP Fri Jan 25 17:13:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

1.安装VirtualBox虚拟机

Gentoo下直接命令编译安装，或者官网下载二进制安装包直接安装：

emerge -av virtualbox

2.虚拟机下安装Ubuntu 12.04 LTS

使用Ubuntu镜像安装完成后，然后再克隆另外两台虚拟主机（这里会遇到克隆的主机启动的时候主机名和MAC地址会是一样的，局域网会造成冲突）

主机名修改文件

/etc/hostname

MAC地址修改需要先删除文件

/etc/udev/rules.d/70-persistent-net.rules

然后在启动之前设置VirtualBox虚拟机的MAC地址

启动后会自动生成删除的文件，配置网卡的MAC地址。

为了更方便的在各主机之间共享文件，可以启动主机yan-Server的NFS，将命令加入/etc/rc.local中，让客户端自动挂载NFS目录。

删除各虚拟机的NetworkManager，手动设置静态的IP地址，例如node2主机的/etc/network/interfaces文件配置如下：

 
  1. auto lo 
  2. iface lo inet loopback 
  3. auto eth0 
  4. iface eth0 inet static 
  5. address 192.168.137.202 
  6. gateway 192.168.137.1 
  7. netmask 255.255.255.0 
  8. network 192.168.137.0 
  9. broadcast 192.168.137.255 

主机的基本环境设置完毕，下面是主机对应的IP地址

类型

主机名

IP

NameNode

yan-Server

192.168.137.100

DataNode

node1

192.168.137.201

DataNode

node2

192.168.137.202

DataNode

node3

192.168.137.203

为了节省资源，可以设置虚拟机默认启动字符界面，然后通过主机的TERMINAL ssh远程登录。（SSH已经启动服务，允许远程登录，安装方法不再赘述）

设置方式是修改/etc/default/grub文件将下面的一行解除注释

GRUB_TERMINAL=console

然后update-grub即可。

3.Hadoop环境的配置

3.1配置JDK环境（之前就做好了，这里不再赘述）

3.2在官网下载Hadoop，然后解压到/opt/目录下面（这里使用的是hadoop-2.0.4-alpha）

然后进入目录/opt/hadoop-2.0.4-alpha/etc/hadoop，配置hadoop文件

修改文件hadoop-env.sh

 
  1. export HADOOP_FREFIX=/opt/hadoop-2.0.4-alpha 
  2. export HADOOP_COMMON_HOME=${HADOOP_FREFIX} 
  3. export HADOOP_HDFS_HOME=${HADOOP_FREFIX} 
  4. export PATH=$PATH:$HADOOP_FREFIX/bin 
  5. export PATH=$PATH:$HADOOP_FREFIX/sbin 
  6. export HADOOP_MAPRED_HOME=${HADOOP_FREFIX} 
  7. export YARN_HOME=${HADOOP_FREFIX} 
  8. export HADOOP_CONF_HOME=${HADOOP_FREFIX}/etc/hadoop 
  9. export YARN_CONF_DIR=${HADOOP_FREFIX}/etc/hadoop 
  10. export JAVA_HOME=/opt/jdk1.7.0_21 

修改文件hdfs-site.xml

 
  1. <configuration> 
  2. <property> 
  3.   <name>dfs.namenode.name.dir</name> 
  4.   <value>file:/opt/hadoop-2.0.4-alpha/workspace/name</value> 
  5.   <description>Determines where on the local filesystem the DFS name node should store the 
  6. name table.If this is a comma-delimited list of directories,then name table is 
  7. replicated in all of the directories,for redundancy.</description> 
  8.   <final>true</final> 
  9. </property> 
  10. <property> 
  11.   <name>dfs.datanode.data.dir</name> 
  12.   <value>file:/opt/hadoop-2.0.4-alpha/workspace/data</value> 
  13.   <description>Determines where on the local filesystem an DFS data node should 
  14. store its blocks.If this is a comma-delimited list of directories,then data will 
  15. be stored in all named directories,typically on different devices.Directories that do not exist are ignored. 
  16.   </description> 
  17.   <final>true</final> 
  18. </property> 
  19. <property> 
  20.   <name>dfs.replication</name> 
  21.   <value>1</value> 
  22. </property> 
  23. <property> 
  24.   <name>dfs.permission</name> 
  25.   <value>false</value> 
  26. </property> 
  27. </configuration> 

修改文件mapred-site.xml

 
  1. <configuration> 
  2. <property> 
  3.   <name>mapreduce.framework.name</name> 
  4.   <value>yarn</value> 
  5. </property> 
  6. <property> 
  7.   <name>mapreduce.job.tracker</name> 
  8.   <value>hdfs://yan-Server:9001</value> 
  9.   <final>true</final> 
  10. </property> 
  11. <property> 
  12.   <name>mapreduce.map.memory.mb</name> 
  13.   <value>1536</value> 
  14. </property> 
  15. <property> 
  16.   <name>mapreduce.map.java.opts</name> 
  17.   <value>-Xmx1024M</value> 
  18. </property> 
  19. <property> 
  20.   <name>mapreduce.reduce.memory.mb</name> 
  21.   <value>3072</value> 
  22. </property> 
  23. <property> 
  24.   <name>mapreduce.reduce.java.opts</name> 
  25.   <value>-Xmx2560M</value> 
  26. </property> 
  27. <property> 
  28.   <name>mapreduce.task.io.sort.mb</name> 
  29.   <value>512</value> 
  30. </property> 
  31. <property> 
  32.   <name>mapreduce.task.io.sort.factor</name> 
  33.   <value>100</value> 
  34. </property> 
  35. <property> 
  36.   <name>mapreduce.reduce.shuffle.parallelcopies</name> 
  37.   <value>50</value> 
  38. </property> 
  39. <property> 
  40.   <name>mapred.system.dir</name> 
  41.   <value>file:/opt/hadoop-2.0.4-alpha/workspace/systemdir</value> 
  42.   <final>true</final> 
  43. </property> 
  44. <property> 
  45.   <name>mapred.local.dir</name> 
  46.   <value>file:/opt/hadoop-2.0.4-alpha/workspace/localdir</value> 
  47.   <final>true</final> 
  48. </property> 
  49. </configuration> 

修改文件yarn-env.xml

 
  1. export HADOOP_FREFIX=/opt/hadoop-2.0.4-alpha 
  2. export HADOOP_COMMON_HOME=${HADOOP_FREFIX} 
  3. export HADOOP_HDFS_HOME=${HADOOP_FREFIX} 
  4. export PATH=$PATH:$HADOOP_FREFIX/bin 
  5. export PATH=$PATH:$HADOOP_FREFIX/sbin 
  6. export HADOOP_MAPRED_HOME=${HADOOP_FREFIX} 
  7. export YARN_HOME=${HADOOP_FREFIX} 
  8. export HADOOP_CONF_HOME=${HADOOP_FREFIX}/etc/hadoop 
  9. export YARN_CONF_DIR=${HADOOP_FREFIX}/etc/hadoop 
  10. export JAVA_HOME=/opt/jdk1.7.0_21 

修改文件yarn-site.xml

 
  1. <configuration> 
  2. <property> 
  3.   <name>yarn.resourcemanager.address</name> 
  4.   <value>yan-Server:8080</value> 
  5. </property> 
  6. <property> 
  7.   <name>yarn.resourcemanager.scheduler.address</name> 
  8.   <value>yan-Server:8081</value> 
  9. </property> 
  10. <property> 
  11.   <name>yarn.resourcemanager.resource-tracker.address</name> 
  12.   <value>yan-Server:8082</value> 
  13. </property> 
  14. <property> 
  15.   <name>yarn.nodemanager.aux-services</name> 
  16.   <value>mapreduce.shuffle</value> 
  17. </property> 
  18. <property> 
  19.   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
  20.   <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  21. </property> 
  22. </configuration> 

将配置好的Hadoop复制到各DataNode（这里DataNode的JDK配置和主机的配置是一致的，不需要再修改JDK的配置）

3.3 修改主机的/etc/hosts，将NameNode加入该文件

192.168.137.100yan-Server

192.168.137.201node1
192.168.137.202node2
192.168.137.203node3

3.4 修改各DataNode的/etc/hosts文件，也添加上述的内容

192.168.137.100yan-Server
192.168.137.201node1
192.168.137.202node2
192.168.137.203node3

3.5 配置SSH免密码登录（所有的主机都使用root用户登录）

主机上运行命令

ssh-kengen -t rsa

一路回车，然后复制.ssh/id_rsa.pub为各DataNode的root用户目录.ssh/authorized_keys文件

然后在主机上远程登录一次

ssh root@node1

首次登录可能会需要输入密码，之后就不再需要。（其他的DataNode也都远程登录一次确保可以免输入密码登录）

4.启动Hadoop

为了方便，在主机的/etc/profile配置hadoop的环境变量，如下：

 
  1. export HADOOP_PREFIX="/opt/hadoop-2.0.4-alpha" 
  2. export PATH=$PATH:$HADOOP_PREFIX/bin 
  3. export PATH=$PATH:$HADOOP_PREFIX/sbin 
  4. export HADOOP_MAPRED_HOME=${HADOOP_PREFIX} 
  5. export HADOOP_COMMON_HOME=${HADOOP_PREFIX} 
  6. export HADOOP_HDFS_HOME=${HADOOP_PREFIX} 
  7. export YARN_HOME=${HADOOP_PREFIX} 

4.1 格式化NameNode

hdfs namenode -format

4.2 启动全部进程

start-all.sh


在浏览器查看，地址：

http://localhost:8088/

所有数据节点DataNode正常启动。

4.3 关闭所有进程

stop-all.sh

至此，Hadoop环境搭建基本结束。

(二) 配置开发环境 - Hadoop安装与伪分布式集群搭建
weixin_45873289的博客
04-07 5720
** Hadoop安装与伪分布式集群搭建 一. 安装JDK https://blog.csdn.net/weixin_45873289/article/details/104945583 注：这链接里面还有jdk和hadoop安装包 二. 安装Hadoop 输入tar -zxvf hadoop-3.1.0.tar.gz 解压hadoop安装包(这里需要注意安装包的名称是否正确)* 解压成功 三...
Hadoop 2.0 安装配置
weixin_34128534的博客
09-04 101
1. install jdk 2. install hadoop. 安装包hadoop-2.2.0.tar.gz存放在一个目录。并解压。 3. 修改配置文件，一般配置文件在/etc/hadoop下面。 （1） hadoop-env.sh修改配置文件： export JAVA_HOME=/home/jdk/jdk_version (2) ...
hadoop2.2.0测试环境搭建
mmicky的hadoop、Spark世界
05-13 3045
近几日，hadoop2.2.0稳定版发布，立即下载先搭建测试环境。1：规划centOS6.4上搭建hadoop2.2.0环境，java版本7UP21192.168.100.171 hadoop1 (namenode)192.168.100.172 hadoop2 (预留当namenode)192.168.100.173 hadoop3 (datanode)192.168.100.174 hadoo
Hadoop 2.0安装部署方法
12-05
Hadoop 2.0安装部署方法,手把手教，如何在linux上安装hadoop
Hadoop2.0集群安装配置
12-11 970
本集群使用centOS 7作为系统集群，基于原生Hadoop2，使用版本为Hadoop2.6.0。 一. 搭建前提：在 搭建集群之前，要保证 每台虚拟机都配置好了Hadoop用户 安装SSHServer（centOS 7系统安装好后就默认安装了） 安装JAVA环境 安装Hadoop 二. 网络配置首先保证所有主机位于同一个局域网内，然后将每台虚拟机的网络都设为桥接模式，并且手工配置IP地址，保证它
Hadoop2.0环境安装
weixin_34853379的博客
07-24 687
1. Hadoop源码包下载 http://mirror.bit.edu.cn/apache/hadoop/common   1. 集群环境 Master 192.168.129.144 192.168.129.144 192.168.192.168.129.144 Slave1 192.168.129.143 Slave2 192.168.129.142   2. 下载安...
Hadoop2.0伪分布式平台环境搭建
04-17 530
环境：ubuntu-16.04这里的环境不一定需要和我一样，基本版本差不多都ok的，所需安装包和压缩包自行下载即可。因为这里是配置Hadoop的教程，配置Java以及安装VMware Tools就自行百度解决哈，这里就不写了（因为教程有点长，可能有些地方有些错误，欢迎留言评论，我会在第一时间修改的）。
【Hadoop全分布式环境搭建】
pblh123的专栏
09-06 5234
Hadoop全分布式集群搭建，ntp时间同步，免密登录，hadoop一键启动
【教程】Hadoop完全分布式环境搭建全过程
m0_51226527的博客
02-16 6930
Hadoop完全分布式环境搭建全过程详细讲解 集群服务器：hadoop102、hadoop103和hadoop104 文末提供相关资源下载链接
Hadoop之伪分布式配置安装
weixin_44144773的博客
01-30 3937
Hadoop支持本地模式、伪分布式模式、完全分布式模式3种安装模式。本地模式，在系统中下载Hadoop,默认情况下，它会被配置为一个独立的模式， 用于运行Java程序;伪分布式模式，这是在单台机器上的分布式模拟，这种模式对开发非常有用:完全分布式模式，又叫集群安装，Hadoop 安装在最少两台计算机的集群中。 安装VMware并安装CentOS： CentOS下载https://www.centos.org/download/系统安装完成后需要进行如下配置 一、配置CentOS 1....
hadoop2.0伪分布式搭建
05-30
### Hadoop 2.0 伪分布式环境搭建详解 #### 一、环境准备与配置 在搭建 Hadoop 2.0 的伪分布式环境之前，首先需要进行一系列的基础环境准备及配置工作。 ##### 1. Linux 环境配置 为了确保 Hadoop 能够顺利运行...
Hadoop2.0分布式HA环境部署
01-31
### Hadoop2.0分布式HA环境部署 #### Hadoop2.0 HA机制概览 Hadoop2.0相比Hadoop1.0，在集群稳定性与可用性方面进行了显著增强，特别是引入了High Availability (HA)机制。Hadoop1.0中仅存在单一的NameNode作为元...
Hadoop 2.0伪分布式环境详细教程：从Linux设置到防火墙管理
本文档详细介绍了如何在Hadoop 2.0环境中进行伪分布式搭建。首先，我们需要设置虚拟网络环境，对于Linux用户，可以利用VMware的虚拟机网络配置工具（如VMnet1 host-only模式），确保主机和虚拟机间的网络连接，并...
Hadoop2.0-v1.7安装手册：分布式文件系统HDFS简介
压缩包子文件的文件名称列表中仅提供了一个文件的名称：“1 Hadoop安装手册_Hadoop2.0-v1.7.pdf”，这表明给定的文件是一个PDF格式的电子文档，可能包含了安装Hadoop 2.0版本时需要遵循的详细步骤、配置指南、最佳...
代码7-1 过拟合及其抑制.ipynb
12-06
代码7-1 过拟合及其抑制.ipynb
基于Eclipse集成开发环境构建的面向STM32F4系列微控制器的FreeRTOS实时操作系统项目模板框架_嵌入式系统开发实时任务调度多线程管理硬件驱动适配内存优化配置.zip
12-06
基于Eclipse集成开发环境构建的面向STM32F4系列微控制器的FreeRTOS实时操作系统项目模板框架_嵌入式系统开发实时任务调度多线程管理硬件驱动适配内存优化配置
基于Nodejs与Express框架构建的具备完整用户认证与授权机制的RESTfulAPI服务项目_该项目核心功能包括用户注册登录JWT令牌签发与验证角色权限管理以及待办事.zip
最新发布
12-06
基于Nodejs与Express框架构建的具备完整用户认证与授权机制的RESTfulAPI服务项目_该项目核心功能包括用户注册登录JWT令牌签发与验证角色权限管理以及待办事.zip
混合动力汽车(HEV)模型的Simscape模型（Matlab代码、Simulink仿真实现）
12-06
混合动力汽车(HEV)模型的Simscape模型（Matlab代码、Simulink仿真实现）内容概要：本文档介绍了一个混合动力汽车（HEV）的Simscape模型，该模型通过Matlab代码和Simulink仿真工具实现，旨在对混合动力汽车的动力系统进行建模与仿真分析。模型涵盖了发动机、电机、电池、传动系统等关键部件，能够模拟车辆在不同工况下的能量流动与控制策略，适用于动力系统设计、能耗优化及控制算法验证等研究方向。文档还提及该资源属于一个涵盖多个科研领域的MATLAB仿真资源包，涉及电力系统、机器学习、路径规划、信号处理等多个技术方向，配套提供网盘下载链接，便于用户获取完整资源。; 适合人群：具备Matlab/Simulink使用基础的高校研究生、科研人员及从事新能源汽车系统仿真的工程技术人员。; 使用场景及目标：①开展混合动力汽车能量管理策略的研究与仿真验证；②学习基于Simscape的物理系统建模方法；③作为教学案例用于车辆工程或自动化相关课程的实践环节；④与其他优化算法（如智能优化、强化学习）结合，实现控制策略的优化设计。; 阅读建议：建议使用者先熟悉Matlab/Simulink及Simscape基础操作，结合文档中的模型结构逐步理解各模块功能，可在此基础上修改参数或替换控制算法以满足具体研究需求，同时推荐访问提供的网盘链接获取完整代码与示例文件以便深入学习与调试。
Django 登录注册功能实现-样式优化
12-06
Django 登录注册功能实现-样式优化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值