课程笔记（厦门大学林子雨编著的《大数据技术原理与应用（第3版）》）

第一步：配置环境

执行DateDistinct.java的时候，需要在在Eclipse中创建项目的基础上添加以下的JAR包

（1）“/usr/local/hadoop/share/yarn/sources”目录下的所有JAR包；
（2）“/usr/local/hadoop/share/hadoop/yarn/lib”目录下的所有JAR包；
（3）“/usr/local/hadoop/share/hadoop/yarn”目录下的所有JAR包，但是，不包括目录，具体如下图所示。

第二步：上传文件

在本地中建立input文本文件

然后在基础链接上配置eclipse中的jar包以及开启hadoop，使用以下代码将input.txt上传

import org.apache.hadoop.conf.Configuration;

public class MergeFile {

    public static void main(String[] args) throws IOException {
        String localF