hadoop（使用）

1. 系统准备

• 操作系统: 推荐使用Linux发行版，例如Ubuntu、CentOS等。
• Java环境: Hadoop需要Java运行环境，推荐使用OpenJDK或Oracle JDK 1.8或更高版本。
• linux系统改名：sudo hostnamectl set-hostname 新的主机名（方便后边配置）
• 为本机配置免密登录

  
  ssh-keygen （生成密钥,第一次操作）
  ssh-copy-id 主机名 （免密登录）

2. 安装Java

1. 更新包管理器（以Ubuntu为例）：

   sudo apt update
   （如果提示没有安装sudo：安装sudo
   以下操作在root中进行
   更新包列表以确保你安装的是最新版本的软件：apt-get update
   安装sudo：apt-get install sudo
   验证sudo安装
   登录到你的用户账户后，你可以通过运行带有sudo的命令来测试是否成功安装并配置了sudo。例如，你可以尝试更新包列表：sudo apt-get update）
   

2. 安装OpenJDK：

   通过java -version命令查看java版本
   安装自己想要的版本：
   命令大致如下（以8为例子）
   sudo apt install openjdk-8-jdk

   jdk路径查询 

   如果在/etc/profile文件中配置了JAVA_HOME则可以直接获取：

   echo $JAVA_HOME

   [root@localhost local]# echo $JAVA_HOME
   /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64/jre/bin/java

   如果以上方法无法查询到，使用如下：

   [root@localhost local]# which java
   /usr/bin/java

   [root@localhost local]# ls -lrt /usr/bin/java
   lrwxrwxrwx. 1 root root 22 Mar 7 19:12 /usr/bin/java -> /etc/alternatives/java

   [root@localhost local]# ls -lrt /etc/alternatives/java
   lrwxrwxrwx. 1 root root 70 Mar 7 19:12 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64/jre/bin/jav

3. 验证Java安装：

   java -version

3. 添加Hadoop用户（可选）

为了安全和管理方便，建议为Hadoop创建一个专用用户。

sudo adduser hadoop
（确保sudo已经安装好）

4. 下载并解压Hadoop

1. 访问Apache Hadoop的官方网站下载最新版本的Hadoop。（清华大学hadoop镜像）

   这里推荐使用清华大学镜像下载
   以下载3.3.6为例子：
   wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

2. 解压下载的Hadoop压缩包到指定目录，例如/usr/local/hadoop。可以使用以下命令：

   sudo tar -xzvf hadoop-x.y.z.tar.gz -C /usr/local/ sudo mv /usr/local/hadoop-x.y.z /usr/local/hadoop

5. 配置Hadoop环境变量

1. 打开当前用户的.bashrc文件：

   nano  ~/.bashrc

2. 在文件末尾添加Hadoop环境变量：

   export HADOOP_HOME=/usr/local/hadoop 
   export PATH=$PATH:$HADOOP_HOME/bin 
   export PATH=$PATH:$HADOOP_HOME/sbin 
   export HADOOP_MAPRED_HOME=$HADOOP_HOME 
   export HADOOP_COMMON_HOME=$HADOOP_HOME 
   export HADOOP_HDFS_HOME=$HADOOP_HOME 
   export YARN_HOME=$HADOOP_HOME

3. 应用更改：

   source ~/.bashrc

6. 配置Hadoop

编辑Hadoop配置文件，这些文件位于$HADOOP_HOME/etc/hadoop/目录下：

• Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建_hadoop-3.3.6国内镜像压缩包-优快云博客

  最后·在hadoop-env.sh最后添加

•  export HDFS_NAMENODE_USER=root                                                                                                                                                                                                  
   export HDFS_DATANODE_USER=root
   export HDFS_SECONDARYNAMENODE_USER=root
   export YARN_RESOURCEMANAGER_USER=root
   export YARN_NODEMANAGER_USER=root

7. 格式化HDFS文件系统

在启动Hadoop之前，需要格式化HDFS文件系统：

hdfs namenode -format

8. 启动Hadoop

使用以下命令启动所有Hadoop守护进程：

start-dfs.sh 
start-yarn.sh

9. 验证安装

运行jps命令查看Java进程，应该能看到Hadoop的各个组件正在运行。

以上是在Linux环境下安装单节点Hadoop的基本步骤。根据具体需求，可能还需要进行更多的配置和优化。