Hadoop入门学习(二):搭建Hadoop Single Node Cluster

本文详细介绍了如何在Linux环境下搭建Hadoop Single Node Cluster,包括安装JDK、下载Hadoop、配置环境变量、修改配置文件、创建并格式化HDFS目录以及启动Hadoop。通过这些步骤,读者可以理解Hadoop的组件及其工作原理,为后续的多节点集群配置打下基础。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hadoop最核心的框架由两部分组成,HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)和YARN(Yet Another Resource Negotiator,另一种资源协调者)。其中HDFS包括NameNode和DataNode,YARN包括ResourceManager和NodeManager,ResourceManager对应NameNode,NodeManager对应DataNode。

NameNode是主服务器,负责管理和维护HDFS目录系统并控制文件的读写操作;多个DataNode服务器负责储存数据,图中只有3个DataNode,但实际中的大型集群可以有成千上万个节点。

HDFS负责存储文件,YARN采用了分布式计算的技术,负责计算。YARN是MapReduce的构架,是一种高效率的资源管理中心,其中Map可以将任务切分为更小的任务,由每台计算机分别运行;Reduce将所有计算机的运行结果整理,返回最终的结果。

上图可以跟HDFS的图对应起来看,ResourceManager管理NameNode,NodeManager分别管理各个DataNode。由此Hadoop就可以实现文件的存储和计算。

一、安装JDK

打开终端,输入如下命令安装JDK:

sudo apt-get install default-jdk

sudo是linux系统管理指令,它允许系统管理员让普通用户执行一些或者全部的root命令的一个工具。Linux中的root类似于Windows中的系统管理员,有最高的权限,sudo可以赋予我们操作各种文件的权限。

安装完后输入如下命令获取java的安装路径,后续配置hadoop文件hadoop-env.sh需要使用。

update-alternatives --display java

二、下载Hadoop

进入Ha

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值