大数据应用期末总评

作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

Hadoop综合大作业 要求：

1.将爬虫大作业产生的csv文件上传到HDFS

查看HDFS上两个文件内容

2.对CSV文件进行预处理生成无标题文本文件

 

3.把hdfs中的文本文件最终导入到数据仓库Hive中

 

4.在Hive中查看并分析数据

5.用Hive对爬虫大作业产生的进行数据分析，写一篇博客描述你的分析过程和分析结果。（10条以上的查询分析）

（1）查询不重复id的评论数

（2）查询评论用户总人数

 

（3）性别为‘女’的评论数有100条

 

（4）性别为‘保密’的评论数有402条

 

 （5）性别为‘男的评论数有294条

 

（6）根据用户的评论时间进行筛选，对时间进行分组统计，得出评论数最多的时间

 （7）查询不重复昵称的评论数

(8)查询评论次数最多的20个用户

(9)查询各个评分等级的数量

 

（10）查询表2前十条数据

 

 

转载于:https://www.cnblogs.com/lxyu/p/11055414.html