hadoop部署(单节点)

本文介绍了如何在redhat6.5环境下,部署Hadoop 2.7.3的单节点集群。首先,讲述了HDFS的特性,然后详细阐述了从解压Hadoop到配置core-site.xml、hdfs-site.xml,再到启动HDFS并格式化,以及通过脚本启动、检查端口和使用浏览器验证的过程。同时,文章还涵盖了配置java环境、设置免密登陆以及YARN的单节点配置和启动。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。
HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
实验环境:
操作系统:redhat6.5 iptables selinux off
hadoop-2.7.3版本,jdk 8版本

Hadoop安装及java环境搭建
解压tar包

[root@server4 ~]# tar xf hadoop-2.7.3.tar.gz -C /usr/local/
[root@server4 ~]# tar xf jdk-8u171-linux-x64.tar.gz -C /usr/local/

声明java

[root@server4 ~]# vim /usr/local/hadoop-2.7.3/etc/hadoop/hadoop-env.sh 
 export JAVA_HOME=/usr/local/jdk1.8.0_171  

独立操作debug

[root@server4 hadoop-2.7.3]# mkdir input
[root@server4 hadoop-2.7.3]# cp etc/hadoop/*.xml input
[root@server4 hadoop-2.7.3]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
[root@server4 hadoop-2.7.3]# cat output/*
1   dfsadmin

伪分布集群搭建
配置core-site.xml

[root@server4 hadoop-2.7.3]# vim etc/hadoop/core-site.xml 
### Hadoop 3.4 单节点安装配置教程 #### 准备工作 为了顺利进行Hadoop 3.4的单节点部署,需先准备好Linux操作系统环境,并确保已正确安装Java开发工具包(JDK)[^2]。 #### 下载与解压软件包 进入指定存储路径并获取最新版Hadoop压缩包: ```bash cd /opt/software wget https://downloads.apache.org/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz tar -zxvf hadoop-3.4.0.tar.gz -C /opt/module/ ``` 移动至目标位置以便后续管理维护更便捷: ```bash mv /opt/module/hadoop-3.4.0/ /opt/module/hadoop ``` #### 配置环境变量 编辑`~/.bashrc`文件,在其中加入如下两行来定义新的环境变量: ```bash export HADOOP_HOME=/opt/module/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 使更改立即生效: ```bash source ~/.bashrc ``` 验证安装成果: ```bash hadoop version ``` 如果显示的是Hadoop 3.4的具体版本号,则说明上述步骤执行无误。 #### 修改核心配置文件 前往Hadoop配置目录下调整必要的参数设定: 修改`core-site.xml`以适应本地模式运行需求: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 针对`hdfs-site.xml`做相应改动支持分布式文件系统的正常运作: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 最后不要忘记更新`yarn-site.xml`中的YARN相关属性以及`mapred-site.xml.template`(建议复制一份命名为`mapred-site.xml`)里的MapReduce框架选项。对于单机测试而言,默认值通常可以满足基本功能演示的要求[^3]。 #### 初始化NameNode 首次启动之前要初始化Namenode元数据仓库: ```bash hdfs namenode -format ``` #### 启动服务组件 依次开启各个子系统的服务进程: ```bash start-dfs.sh start-yarn.sh mr-jobhistory-daemon.sh start historyserver ``` 此时可以通过浏览器访问http://localhost:8088查看集群状态页面确认一切运转良好[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值