配置hadoop(伪分布式模式)

本文详细介绍如何在伪分布式模式下配置Hadoop,包括免密钥登录设置、JDK环境变量配置、核心Hadoop配置文件调整及HDFS格式化与启动步骤。适合初学者快速上手。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

配置hadoop(伪分布式模式)参考hadoop官网

1. 配置免密钥登录

2. 配置jdk

配置jdk环境变量:使用 rpm -ivh安装jdk之后默认装在/usr/java/default
在这里插入图片描述
在这里插入图片描述

3. 配置hadoop-env.sh文件

在这里插入图片描述

4. 配置etc/hadoop/core-site.xml文件

在这里插入图片描述

5. 配置etc/hadoop/hdfs-site.xml文件

在这里插入图片描述

6. 配置etc/hadoop/slaves文件

在这里插入图片描述

7. 对hdfs进行格式化处理

hdfs namenode -format

然后在hadoop的 /sbin下启动hadoop:/sbin/start-dfs.sh 启动namenode,datanode,secondarynode
或者单独启动分别为:hadoop-daemons.sh start datanode
hadoop-daemons.sh start namenode

8. 查看进程,输入以下的jps

在这里插入图片描述

9. 将文件存储hdfs

hadoop fs -put 文件名 hdfs文件系统路径

Hadoop伪分布式模式是在一台机器上模拟分布式环境,使得开发人员可以在单个机器上完成Hadoop程序的开发和测试。下面是Hadoop伪分布式模式配置过程: 1. 安装Java和Hadoop:首先需要安装Java和Hadoop。Java的版本需要与Hadoop版本匹配。安装完成后,需要设置JAVA_HOME和HADOOP_HOME环境变量。 2. 修改配置文件Hadoop伪分布式模式需要修改以下配置文件: - core-site.xml配置Hadoop的核心参数,如文件系统、端口等。 - hdfs-site.xml配置Hadoop分布式文件系统的参数,如副本数量、块大小等。 - mapred-site.xml配置Hadoop的MapReduce参数,如任务最大尝试次数、任务跟踪器等。 - yarn-site.xml配置Hadoop的YARN参数,如节点管理器、资源管理器等。 3. 创建HDFS目录:在Hadoop伪分布式模式中,需要手动创建HDFS目录。可以使用以下命令创建目录: ``` hdfs dfs -mkdir /user hdfs dfs -mkdir /user/<用户名> ``` 4. 启动Hadoop:使用以下命令启动Hadoop: ``` start-dfs.sh start-yarn.sh ``` 5. 验证Hadoop:使用以下命令验证Hadoop是否正常运行: ``` jps ``` 如果输出中包含ResourceManager、NodeManager、DataNode、NameNode等进程,则说明Hadoop已经成功启动。 6. 运行Hadoop程序:在Hadoop伪分布式模式下,可以使用以下命令运行程序: ``` hadoop jar <程序.jar> <输入路径> <输出路径> ``` 以上就是Hadoop伪分布式模式配置过程。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值