xujonas的博客

本实战项目主要利用Hive对多个文本文件中的IP地址进行整合并去除重复项。首先，在虚拟机上创建了三个包含IP地址列表的文本文件（ips01.txtips02.txtips03.txt），并将这些文件上传至HDFS上的目录作为原始数据。接着在hive中创建相对应的数据表ips，并将HDFS中三个文本文件内容导入到数据表ips中最后通过查询实现去重。

本实战项目主要利用框架对多个文本文件中的IP地址进行整合并去除重复项。首先，在虚拟机上创建了三个包含IP地址列表的文本文件（ips01.txtips02.txtips03.txt），并将这些文件上传至HDFS上的/deduplicate/input目录作为原始数据。接着，通过创建了一个Maven项目，并添加了和junit相关依赖。和。类作为Map阶段的处理单元，读取每行输入文本数据（表示一个IP地址），将IP地址作为新的键输出，并使用类型的空值，以准备后续去重操作。类则负责Reduce阶段的逻辑，它接收。

求成绩总分和平均分、将数据上传到hdfs

上传数据到hdfs、从hdfs加载数据到hive

hive文件上传到hdfs，hive统计成绩求和，统计平均值

词频统计、hive文件上传到hdfs、hive导入外部数据

数据上传到hdfs，数据排序