Hadoop综合大作业

作业要求来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

一、将爬虫大作业产生的csv文件上传到HDFS

 

二、查看数据集内容

查看评论前五条数据：

  处理数据：

编辑dealdata.sh文件处理转化成txt

三、把hdfs中的文本文件最终导入到数据仓库Hive中

  

四、在Hive中查看并分析数据

查看数据：

查看评分数据是10的人数：

查看评分数据9和8的人数分别是：

 

 分析：数据有324条，十分好评的人数将近一半，评分为八九十的人数加起来有255人，约占有78.9%的人数。可以看出这是一部及其好看的经典电影。

 

总结：

    通过这次数据的爬取，我学习到很多东西。也可爬取我自己喜欢的东西。一些经典的老电影。从数据说明这是一部非常好看的经典电影。

转载于:https://www.cnblogs.com/Tqin/p/11049634.html