hadoop安装启动配置,单机模式

本文介绍如何在CentOS7环境下安装配置Hadoop3.0.0,包括JDK安装配置、SSH免密登录设置、各配置文件详解及Hadoop服务启动验证。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我使用的环境是虚拟机安装CENOS7,hadoop 3.0.0。

这些安装包下载好过后。去建一个目录来解压hadoop。

前提条件:

1、安装jdk,配置jdk(Linux下的配置自己查下资料)

2、安装ssh:yum install ssh(先查看安装没,有就不安装了)

3、安装rsync: yum install ssh (先查看安装没,有就不安装了)

前面这些准备好了过后,就开始配置hadoop:hadoop目录我就取个名字方便写HADOOP_PATH(这个就是你自己的hadoop目录)

1、先按照这个命令执行下:

 $ mkdir input
  $ cp etc/hadoop/*.xml input
  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.1.jar grep input output 'dfs[a-z.]+'
  $ cat output/*

备注:执行完了过后,就是把一些xml文件拷贝到input目录中去了,output中呢有两个文件,就是截图这两个。(可能不执行这些命令也没问题,我没去试,欢迎大家试试哈)。


2、修改HADOOP_PATH/etc/hadoop/core-site.xml,如图:


备注:hadoop.tmp.dir这个目录最好自己建一个。

3、修改HADOOP_PATH/etc/hadoop/hdfs-site.xml


备注:a.中间有个dir也自己建一个,这样重启服务后里面的数据就不会丢失。否则大意的话容易报错,一般就是那个namenode的clusterID与datanode的clusterID不一致。

b.如果关了防火墙就不用管了,没关的话就把50070加入。这个命令的话CENTOS7如下:firewall-cmd --zone=public --add-port=50070/tcp --permanent  #永久加入

4、修改HADOOP_PATH/etc/hadoop/yarn-site.xml


5、修改HADOOP_PATH/etc/hadoop/mapred-site.xml


6、ssh免密登录:

 按照下面的命令执行  

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

然后再执行

$ ssh localhost

看能登陆不。

7、然后格式化

再配置一下Java路径:

修改HADOOP_PATH/etc/hadoop/hadoop-env.sh(默认是注释了,放开注释把jdk安装目录写好即可)


再进行格式化

$ HADOOP_PATH/bin/hdfs namenode -format

8、格式化如果没报错的话,就执行命令:

$ HADOOP_PATH/sbin/start-all.sh,再用jps命令查看结果


如图所示,都有的话就表示启动成功了。

9、然后输入:虚拟机ip/50070去访问(最好是把虚拟机ip固定),访问成功如下图:


### CentOS 7 上 Hadoop 单机版的安装配置指南 #### 准备工作 在开始安装前,需确认已准备好以下条件: - 已安装配置好 JDK(推荐版本为 1.8 或更高),因为 Hadoop 是基于 Java 的框架[^2]。 - 下载适合操作系统的 Hadoop 版本压缩包。 --- #### 步骤一:解压 Hadoop 压缩包 将下载好的 Hadoop 压缩文件上传至 Linux 系统中的目标路径,并执行解压命令: ```bash tar -zxvf hadoop-3.x.x.tar.gz -C /指定/目录/ ``` 例如,如果希望将其放置于 `/usr/local` 路径下,则可以运行以下命令: ```bash tar -zxvf hadoop-3.x.x.tar.gz -C /usr/local/ ``` 完成后,Hadoop 文件夹会被提取到指定位置[^1]。 --- #### 步骤二:设置环境变量 编辑全局环境变量文件 `/etc/profile`,添加 Hadoop 的环境变量配置: ```bash vim /etc/profile ``` 在文件末尾追加以下内容(假设 Hadoop 解压后的根目录位于 `/usr/local/hadoop`): ```bash export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 保存退出后,使更改生效: ```bash source /etc/profile ``` 验证是否成功加载环境变量: ```bash echo $HADOOP_HOME ``` 应返回正确的 Hadoop 安装路径[^3]。 --- #### 步骤三:修改核心配置文件 进入 Hadoop 配置文件所在的 `etc/hadoop` 目录,调整必要的参数以支持单机模式运行。 ##### 修改 `core-site.xml` 打开 `core-site.xml` 并插入以下 XML 结构: ```xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 上述配置指定了临时存储目录以及默认的文件系统地址[^4]。 --- #### 步骤四:启动 Hadoop 服务 完成以上配置后,可以通过以下命令初始化 NameNode 和启动 HDFS 服务: ```bash $HADOOP_HOME/bin/hdfs namenode -format $HADOOP_HOME/sbin/start-dfs.sh ``` 通过浏览器访问 `http://localhost:9870` 可查看 HDFS Web UI 页面,确认服务正常运行。 --- #### 测试 Hadoop 是否可用 创建测试目录并向其中上传文件: ```bash hadoop fs -mkdir /input hadoop fs -put /本地/文件/路径 /input ``` 最后运行 MapReduce 示例程序检验功能: ```bash hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output ``` 检查输出结果是否存在即可判断安装是否成功。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值