02hadoop伪分布式搭建-优快云博客

本文详细介绍了如何在Linux环境下安装JDK和Hadoop，配置伪分布式环境，包括JDK设置、HDFS和YARN配置，以及HDFSShell的基本操作。此外，还给出了MapReduce的概述和wordcount编程实现作为示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

3. 环境安装

3.1 安装方式

单机模式

只能启动MapReduce
伪分布式

能启动HDFS、MapReduce 和 YARN的大部分功能
完全分布式

能启动Hadoop的所有功能

3.2 安装JDK

3.2.1 JDK安装步骤

下载JDK安装包（下载Linux系统的 .tar.gz 的安装包）

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

[root@vm ~]# tar -xf jdk-8u251-linux-x64.tar.gz -C /usr/local/
[root@vm ~]# cd /usr/local/
[root@vm local]# mv jdk1.8.0_251/ jdk8
[root@vm local]# cd
[root@vm ~]# vim .bashrc
...
export JAVA_HOME=/usr/local/jdk8
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=.:$JAVA_HOME/bin:$PATH

[root@vm ~]# source .bashrc
[root@vm ~]# java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)

3.3 安装Hadoop并配置伪分布式

3.3.1 Hadoop安装配置步骤

配置免登录认证,避免使用Hadoop时的权限问题
```
[root@vm ~]# ssh-keygen -t rsa
[root@vm ~]# cd ~/.ssh;cat id_rsa.pub >> authorized_keys
[root@vm .ssh]# ssh localhost
[root@vm ~]# exit
```
下载Hadoop 2.10（374M）

https://archive.apache.org/dist/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz

解压到 /usr/local 目录中,并将文件夹重命名为 hadoop，

[root@vm ~]# tar xf hadoop-2.10.0.tar.gz -C /usr/local/
[root@vm ~]# cd /usr/local
[root@vm local]# mv hadoop-2.10.0/ hadoop2.10
#非root用户可能需要执行 chown -R user:user  hadoop2.10
[root@vm local]# cd /usr/local/hadoop2.10/bin
[root@vm bin]# ./hadoop version
Hadoop 2.10.0
Subversion ssh://git.corp.linkedin.com: