Hadoop 基础教程

Hadoop 基础教程

hadoop-fundamentalsCode for the Hadoop Fundamentals for Data Scientists course.项目地址:https://gitcode.com/gh_mirrors/ha/hadoop-fundamentals

项目目录结构及介绍

hadoop-fundamentals/
├── README.md
├── data
│   └── README.md
├── notebooks
│   └── README.md
├── src
│   ├── main
│   │   ├── java
│   │   │   └── com
│   │   │       └── hadoopbook
│   │   │           ├── DistributedCacheApp.java
│   │   │           ├── MaxTemperature.java
│   │   │           ├── MaxTemperatureMapper.java
│   │   │           ├── MaxTemperatureReducer.java
│   │   │           └── README.md
│   │   └── resources
│   │       └── README.md
│   └── test
│       └── java
│           └── com
│               └── hadoopbook
│                   └── MaxTemperatureTest.java
└── pom.xml

• README.md: 项目介绍文件。
• data/: 存放示例数据文件。
• notebooks/: 存放Jupyter笔记本文件。
• src/: 源代码目录。
  • main/java/com/hadoopbook/: 主要Java源代码文件。
    • DistributedCacheApp.java: 分布式缓存应用示例。
    • MaxTemperature.java: 最高温度计算应用。
    • MaxTemperatureMapper.java: 最高温度计算的Mapper类。
    • MaxTemperatureReducer.java: 最高温度计算的Reducer类。
  • test/java/com/hadoopbook/: 测试代码文件。
    • MaxTemperatureTest.java: 最高温度计算的测试类。
• pom.xml: Maven项目配置文件。

项目的启动文件介绍

项目的启动文件主要是MaxTemperature.java，它是一个Hadoop MapReduce程序，用于计算最高温度。该文件位于src/main/java/com/hadoopbook/目录下。

项目的配置文件介绍

项目的配置文件主要是pom.xml，它是一个Maven项目配置文件，用于管理项目的依赖和构建过程。该文件位于项目根目录下。

pom.xml文件包含了项目的基本信息、依赖库、插件配置等内容。以下是部分配置示例：

<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.hadoopbook</groupId>
    <artifactId>hadoop-fundamentals</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.3</version>
        </dependency>
    </dependencies>
</project>

以上配置文件定义了项目的groupId、artifactId、版本号以及依赖的Hadoop客户端库。

hadoop-fundamentalsCode for the Hadoop Fundamentals for Data Scientists course.项目地址:https://gitcode.com/gh_mirrors/ha/hadoop-fundamentals