Hadoop3.2.1安装-单机模式和伪分布式模式

本文档详细介绍了Hadoop的伪分布式安装过程，包括下载安装、环境配置、免密登录设置、配置文件修改以及启动和关闭Hadoop服务。重点讨论了安装过程中可能遇到的问题，如端口冲突，并强调了日志检查的重要性。通过此教程，读者可以掌握Hadoop的基础安装和配置技巧。

Hadoop入门篇

概述

Hadoop是使用Java编写的，是为了解决大数据场景下的两大问题，分布式存储和分布式处理而诞生的，包含很多组件、套件。需要运行在Linux系统下。主要包括HDFS 和 MapReduce两个组件。

下载安装

下载

下载地址 https://archive.apache.org/dist/hadoop/common/

选择合适自己的tar.gz版本下载,该文档选择V3.2.1。

Hadoop是Java开发的，所以依赖jdk运行,要先安装jdk

Hadoop和jdk版本对应关系如下：

Hadoop版本	jdk版本
>Hadoop3.3	java8 or java11(runTime)
Hadoop3.0~Hadoop3.2	java8
Hadoop2.7~Hadoop2.10	java7 and java8

安装

Hadoop安装分为三种模式，单机模式、伪分布式模式，分布式模式。
单机模式主要是用来测试学习使用，底层使用的还是系统自带的文件系统。伪分布式和分布式模式底层使用Hdfs文件系统。

单机模式安装

将tar.gz包上传到Linux目录下解压，并将解压后目录变成hadoop。编辑./etc/hadoop/hadoop-env.sh文件，配置jdk路径

  # The java implementation to use. By default, this environment
  # variable is REQUIRED on ALL platforms except OS X!
  # export JAVA_HOME=
    export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64

执行如下命令测试Hadoop安装环境

  [root@k8s-node-107 hadoop]# bin/hadoop version
  Hadoop 3.2.1
  Source code repository Unknown -r 7a3bc90b05f257c8ace2f76d74264906f0f7a932
  Compiled by hexiaoqiao on 2021-01-03T09:26Z
  Compiled with protoc 2.5.0
  From source with checksum 5a8f564f46624254b27f6a33126ff4
  This command was run using /home/bigData/soft/hadoop/share/hadoop/common/hadoop-common-3.2.2.jar

执行如下命令使用hadoop自带的计数案例测试hadoop运行情况（命令在安装根目录同级目录执行）：

  mkdir input
  cp hadoop/etc/hadoop/*.xml input
  hadoop/bin/hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'
  [root@localhost soft]# cat output/*
  1       dfsadmin

思考：单机模式仅仅只是为了测试开发的jar包是否可用，在运行中使用到了MapReduce进行计算，但未使用到Hdfs.

伪分布式模式

hadoop伪分布式安装遇到的大多数问题来源于对Linux系统常用操作的不熟悉，比如新建用户、权限赋予、ssh免登陆设置

1、配置Hadoop相关环境变量（/etc/profile文件中加）

  # Hadoop Environment Variables
  export HADOOP_HOME=/home/bigData/soft/hadoop
  export HADOOP_INSTALL=$HADOOP_HOME
  export HADOOP_MAPRED_HOME=$HADOOP_HOME
  export HADOOP_COMMON_HOME=$HADOOP_HOME
  export HADOOP_HDFS_HOME=$HADOOP_HOME
  export YARN_HOME=$HADOOP_HOME
  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin