Hadoop单节点配置,配置文件详解

本文详细介绍了如何在Linux系统上配置Hadoop单节点,包括下载解压、JDK安装、SSH免密配置、环境变量设置以及Hadoop相关配置文件的修改。通过配置Hadoop的core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml文件,确保Hadoop的正常启动。启动后,可以通过jps指令和Web界面检查Hadoop服务是否运行成功。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

配置Hadoop之前;

下载解压的目录在home/opt/hadoop/latest/下面这样方便管理也方便做版本控制

mkdir -p /home/opt/hadoop/latest/

tar -zxvf hadoop-xxx.tar.gz -C /home/opt/hadoop/latest/

  1. linux系统安装JDK

先运行 Java -version
看一下是不是1.8系列的,是就vans了,没什么好说的,这个版本的java我最喜欢
如果没有Java则需要重新装java了哈。

  1. SSH免密

因为hadoop为分布式框架,涉及多节点协调工作,配置这个更为方便,不配置的话,就算单节点运行也会让你总是输入密码,不配麻烦点也能跑

$ ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

实验一下,ssh yourhost 看是否不需要输入密码,如果成功免密配置成功,失败的话可以找找教程看看有啥解决方法。


ps:解压hadoop之后则需要进行环境变量的配置
hadoop 就像一个独立的文件系统,目录设置的很科学,配置文件都落在etc/hadoop里面


一、配置Hadoop

  1. Hadoop 同 jdk绑定

首先这个系统是Java 编写的,所以运行环境基于JVM,理所应当需要同系统JAVA环境进行

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值