Hadoop v3.1.0 伪分布式环境搭建

    基础环境的搭建参考:Hadoop学习准备工作 - Centos 7 系统安装与配置


一、 伪分布式

    伪分布式是指:hadoop的守护进程以独立进程形式运行在单一节点上。

二、 Hadoop部署与配置

1、 hadoop部署

    从官网获取 hadoop稳定版,安装到指定目录下:/home/root

tar -zxvf hadoop-3.1.0.tar.gz

    等待解压缩完成后vi /etc/profile 编辑环境变量 -->

export HADOOP_HOME=/home/root/hadoop-3.1.0

    保存退出,执source /etc/profile使变量生效。

    编辑 vi etc/hadoop/hadoop-env.sh -->

# JAVA_HOME
export JAVA_HOME=/home/root/jdk/jdk1.8.0_171

# USERS
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

    保存退出后,执行 bin/hadoop 验证 hadoop 的可用性:

[root@skynet hadoo
### Hadoop伪分布式环境搭建教程 #### 准备工作 在开始之前,需要确保已经准备好以下条件: - Linux操作系统已安装并正常运行。 - Java JDK 已经正确安装,并设置好 `JAVA_HOME` 环境变量[^1]。 #### 下载与解压Hadoop 前往Apache官网或其他可信源下载最新版本的Hadoop压缩包。假设文件名为 `hadoop-3.1.0.tar.gz`,将其上传至服务器 `/opt` 路径下,并执行如下命令完成解压操作: ```bash tar -zxvf hadoop-3.1.0.tar.gz -C /app cd /app mv hadoop-3.1.0/ hadoop3.1 ``` 上述步骤会将Hadoop解压到指定路径 `/app/hadoop3.1` 中[^3]。 #### SSH无密码登录配置 为了使Hadoop能够在本地节点间通信顺畅,需配置SSH免密登录功能。具体方法如下: ```bash ssh-keygen -t rsa -P &#39;&#39; cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ``` 通过以上指令生成公钥私钥对并将公钥追加到授权列表中,最后修改权限以保障安全性。 #### 修改核心配置文件 进入Hadoop目录下的配置子目录,编辑必要的XML格式配置文档来适应伪分布式模式的需求。 ##### 编辑 core-site.xml 文件 此文件定义了HDFS基本参数,在 `<configuration>` 标签内部增加下面的内容用于设定临时存储位置以及默认FS URI: ```xml <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/app/hadoop3.1/data/tmp</value> </property> ``` ##### 编辑 hdfs-site.xml 文件 该文件控制着HDFS的具体行为特征,比如副本数量等属性。同样位于 `<configuration>` 块内加入这些行数以便启动单机版服务实例时生效: ```xml <property> <name>dfs.replication</name> <value>1</value> </property> ``` ##### 编辑 mapred-site.xml 文件 MapReduce框架的相关选项在此处声明,默认情况下可能不存在这个文件,则先复制模板再调整其内容指向YARN作为计算资源管理器: ```bash cp mapred-site.xml.template mapred-site.xml ``` 随后打开它并向其中写入下列字段组合实现关联映射关系: ```xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> ``` ##### 编辑 yarn-site.xml 文件 对于调度策略和其他高级特性的定制化需求而言,yarn-site.xml 是不可或缺的一部分。这里仅展示最基本的几个条目供参考使用即可满足初步学习目的: ```xml <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> ``` #### 启动Hadoop集群 当所有前期准备工作完成后就可以依次初始化namenode元数据结构并且开启各个组件的服务进程啦! ```bash /app/hadoop3.1/bin/hdfs namenode -format /app/hadoop3.1/sbin/start-dfs.sh /app/hadoop3.1/sbin/start-yarn.sh ``` 此时如果一切顺利的话应该可以通过浏览器访问 http://localhost:8088 和 http://localhost:50070 来查看当前系统的状态信息界面[^2]。 ---
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值