Pig查询例子:
Sql语句:
select deptno,max(sal) from emp group by deptno;
Pig Latin语句:
emp1 = group emp by deptno;
emp2 = foreach emp1 generate group,MAX(emp.sal)
dump emp2;
-
Pig赋予开发人员更多的灵活性,并允许开发简洁的脚本用于转换数据流,以便嵌入到较大的应用程序。 Pig相比Hive相对轻量,它主要的优势:相比于直接使用Hadoop Java APIs可大幅削减代码量。
-
Pig最大的作用就是对mapreduce算法(框架)实现了一套shell脚本
- Pig的脚本叫Pig Latin
- Pig是一个数据分析引擎,Pig相当于一个翻译器,将Pig Latin语句翻译成MapReduce程序
- Pig Latin可完成排序(Order By)、过滤(Where)、求和(Sum)、分组(Group By)、关联(Join)等操作,支持自定义函数;
- Pig Latin是把类似Sql的语句转换成MapReduce过程进行处理,减少Java 代码的书写
- Pig的运行方式有
- Grunt Shell方式,
- 脚本方式
- 嵌入式方式。可以嵌入Hadoop的JAVA程序中,从而达到简化代码的功能