本文介绍如何使用Hive对爬虫作业产生的文本文件和CSV文件进行词频统计及数据分析。首先通过HQL对英文长篇小说进行词频统计，并展示部分结果；接着对CSV文件进行数据导入和初步展示。
1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。
先启动dfs
上传下载的英文小说
创建表world
进行HQL词频统计，将结果放到word_count中
查找表的前二十条记录
2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。
将csv文件上传到hdfs中的gigdatacase
显示数据库
创建初始表
导入数据
显示前十行的数据
转载于:https://www.cnblogs.com/wlh0329/p/9085714.html
扫一扫
2657
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
