Hadoop Common 项目使用教程

Hadoop Common 项目使用教程

hadoop-common.old Mirror of Apache Hadoop common 项目地址: https://gitcode.com/gh_mirrors/ha/hadoop-common.old

1. 项目目录结构及介绍

Hadoop Common 是 Apache Hadoop 项目的一部分，它提供了 Hadoop 分布式文件系统（HDFS）和 Hadoop MapReduce 的核心库。以下是项目的目录结构及各部分的简要介绍：

• bin/：存放可执行脚本，用于启动和停止 Hadoop 服务。
• conf/：包含配置文件，这些文件定义了 Hadoop 运行的参数。
• ivy/：包含项目依赖的库和模块。
• lib/：存放项目运行所需的第三方库。
• src/：存放 Java 源代码。
• .gitignore：定义了 Git 忽略的文件和目录。
• CHANGES.txt：记录了项目的变更日志。
• LICENSE.txt：项目的许可证信息。
• NOTICE.txt：包含法律声明和版权信息。
• README.txt：项目说明文件。
• build.xml：Apache Ant 的构建脚本。
• ivy.xml：Apache Ivy 的依赖管理文件。

2. 项目的启动文件介绍

在 bin/ 目录中，有几个重要的脚本用于启动和停止 Hadoop 服务：

• hadoop：Hadoop 的主命令行工具，用于执行 DFS 和 MapReduce 操作。
• start-dfs.sh：启动 Hadoop 分布式文件系统（HDFS）。
• stop-dfs.sh：停止 Hadoop 分布式文件系统（HDFS）。
• start-yarn.sh：启动 YARN 资源管理器和服务。
• stop-yarn.sh：停止 YARN 资源管理器和服务。

使用这些脚本前，需要确保已正确配置了环境变量，并设置了 Hadoop 的 home 目录。

3. 项目的配置文件介绍

Hadoop 的配置文件位于 conf/ 目录中，以下是几个主要的配置文件：

• hadoop-env.sh：设置 Hadoop 运行的环境变量。
• core-site.xml：Hadoop 核心配置文件，定义了文件系统的 URI 和其他核心参数，如 I/O 设置和临时文件存储路径。
• hdfs-site.xml：HDFS 配置文件，定义了 HDFS 的副本系数、数据节点和名称节点的位置等。
• mapred-site.xml：MapReduce 配置文件，定义了 MapReduce 作业的队列、执行时间等参数。
• yarn-site.xml：YARN 配置文件，用于配置资源管理器和节点管理器的参数。

在部署 Hadoop 之前，需要根据实际环境调整这些配置文件中的参数。

hadoop-common.old Mirror of Apache Hadoop common 项目地址: https://gitcode.com/gh_mirrors/ha/hadoop-common.old