本文介绍如何使用Hive对爬虫获取的数据文件进行词频统计及数据分析。首先通过Hive对文本文件进行了词频统计，并创建了词频统计表。接着对CSV文件进行了数据分析，包括数据上传、查看数据前几条记录、统计总条数等步骤。
1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计
创建文件夹：
查看hdfs的所有文件：
把文件上传到hdfs：
启动hive：
创建表：
把hdsf上的文件内容添加进去表里：
创建一个新的表存放词频统计：
查找表的前十条记录：
2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。
将数据上传到hdfs
进入文件路径查看数据前5
将文件上传到HDFS上
查看上传成功的文件的前20个数据
查看数据总条数
转载于:https://www.cnblogs.com/hkvbm/p/9083873.html
扫一扫
400
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
