组合pig和hive来进行数据分析

最新推荐文章于 2023-04-24 16:55:15 发布

黑肚皮的窝

最新推荐文章于 2023-04-24 16:55:15 发布

阅读量4.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： hive pig 文章标签： hadoo hive spark pig 数据仓库

本文链接：https://blog.youkuaiyun.com/joomlaer/article/details/44782499

hive 同时被 2 个专栏收录

6 篇文章

订阅专栏

pig

5 篇文章

订阅专栏

本文介绍了如何通过Pig和Hive处理日志数据中的操作系统信息，包括初步数据清洗、建立Hive表及数据统计等步骤。重点展示了Pig在数据清洗方面的优势，以及Hive在数据统计分析中的便捷性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

接到产品一个任务，需要对使用产品的用户操作系统来个分析。对清洗后的hive数据进行分析，发现，数据恰恰把操作系统数据

进行了过滤，只有到rawlog里去进行数据分析了。但由于rawlog没有和数据库进行关联，就只有先对rawlog进行初步手工清洗，

不清洗掉操作系统数据，再建hive临时表来解决了。

第一步，用pig进行数据初步清洗，上代码

REGISTER 'elephant-bird-core-3.0.8.jar';
REGISTER 'elephant-bird-pig-3.0.8.jar';
set default_parallel 6;
org = load '/rawlog/vv/201503/*' using PigStorage('"') as(ip,get,stat,x1,x2,agent,x3,x4);  
ff = foreach org generate get ,'#',agent;      
store ff into '/tmp/vv-tmp/' ;

第二步，建立hive表。

CREATE EXTERNAL TABLE tmp_vv(url String, os string) 
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '#'   
LOCATION  '/tmp/vv-tmp';

由于在日志里，看到操作系统是如下表示。

(compatible; MSIE 6.0; Windows NT 5.1; SV1)

查询了下，整理出一个相对应的需求。

Microsoft Windows XP (Windows NT 5.1) 
Microsoft Windows 7 (Windows NT 6.1) 
Microsoft Windows 8 (Windows NT 6.2)

第四步，对hive数据进行数据统计。

分别如下

hive> select count(*)  from tmp_vv where os  like '%Windows NT x.X%' limit 10;

其中x.x就是对应的操作系统版本。

总结：本项目是一个很简单的组合pig和hive的项目。在这个项目里，进一步体会到Pig在清洗数据方面的强大性，并且处理后的数据进入数据仓库后，用hive

能很方便的进行相关的统计。同时辅以自动化的查询界面，能让业务人员更方便的进行数据查询。