pig和hive的区别

Pig查询例子:

Sql语句:
select deptno,max(sal) from emp group by deptno;


Pig Latin语句:
emp1 = group emp by deptno;
emp2 = foreach emp1 generate group,MAX(emp.sal)
dump emp2;
  • Pig赋予开发人员更多的灵活性,并允许开发简洁的脚本用于转换数据流,以便嵌入到较大的应用程序。
    Pig相比Hive相对轻量,它主要的优势:相比于直接使用Hadoop Java APIs可大幅削减代码量。
  • Pig最大的作用就是对mapreduce算法(框架)实现了一套shell脚本 
  • Pig的脚本叫Pig Latin
  • Pig是一个数据分析引擎,Pig相当于一个翻译器,将Pig Latin语句翻译成MapReduce程序
  • Pig Latin可完成排序(Order By)、过滤(Where)、求和(Sum)、分组(Group By)、关联(Join)等操作,支持自定义函数;
  • Pig Latin是把类似Sql的语句转换成MapReduce过程进行处理,减少Java 代码的书写
  • Pig的运行方式有
  1. Grunt Shell方式,
  2. 脚本方式
  3. 嵌入式方式。可以嵌入Hadoop的JAVA程序中,从而达到简化代码的功能

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值