Pig基础知识

Pig介绍

Pig是基于hadoop的一个数据处理的框架，MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。Pig的数据处理语言是数据流方式的，类似于初中做的数学题。

Pig的使用

pig的数据类型

• pig基本数据类型：int、long、float、double、chararry、bytearray
• pig复合数据类型：Map、Tuple、Bag      Bag的类型如{('age',31),('name','张三')}

如何安装Pig

• 把pig-0.11.1.tar.gz复制到/usr/local下
• 使用命令tar -zxvf  pig-0.11.1.tar.gz解压缩
•  使用命令mv pig-0.11.1  pig 进行重命名
• 编辑文件vi /etc/profile 设置环境变量

export HADOOP_HOME=/home/hadoop

export PIG_HOME=/home/pig

export PATH =......$PIG_HOME/bin....

保存，然后执行source  /etc/profile

• 4.5 编辑文件$PIG_HOME/conf/pig.properties，增加两行如下内容

fs.default.name=hdfs://hadoop0:9000

mapred.job.tracker=hadoop0:9001

使用案例

对WLAN数据如何使用pig进行分析处理?

• 把待处理的数据上传到HDFS中
• 把HDFS中的数据转换为pig可以处理的模式  

A = LOAD '/wlan' AS (t0:long, msisdn:chararray, t2:chararray, t3:chararray, t4:chararray, t5:chararray, t6:long, t7:long, t8:long, t9:long, t10:chararray);

• 把里面的有用的字段抽取出来

B = FOREACH A GENERATE msisdn, t6, t7, t8, t9;  

• 分组数据

C = GROUP B BY msisdn;  

• 流量汇总

D = FOREACH C GENERATE   group, SUM(B.t6), SUM(B.t7), SUM(B.t8), SUM(B.t9);

• 存储到HDFS中

STORE D INTO '/wlan_result';