Apache Pig, 便捷的map reduce之道

最新推荐文章于 2025-08-20 11:30:52 发布

原创最新推荐文章于 2025-08-20 11:30:52 发布 · 676 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Apache Pig #big data #Big Data #pig

pig 专栏收录该内容

1 篇文章

订阅专栏

本文深入探讨了Apache Pig与MapReduce在大数据处理领域的应用与区别，强调了Pig在简化数据处理流程、提高效率方面的优势。通过实际案例展示了如何使用Pig进行数据聚合与查询操作，与MapReduce进行比较，揭示了Pig在处理大规模数据时的便捷性和高效性。

English Version: Apache pig, better way to map reduce

使用了Apache Pig将近一年，一直没有写点什么，今天算是一个开始吧。

首先，如果你的数据是MB级的甚至GB级的，那你不会想用使用pig或者map reduce。但是对于大数据，已经超出了单机的计算能力，你不得不考虑如何进行并行计算。这就是map reduce的专长，而pig让map reduce更简单更高效。

第二，pig很方便，很优美，你如果做简单的统计或者数据变化，只需要写几行代码。比如想统计搜索日志里面每个查询串的搜索次数，代码如下：

log = load 'xxx' as (query);
grp = group log by query;
qv = for each grp generate group as query, COUNT(log) as qv;

如果你要使用map reduce，你就需要先复制粘贴几十行例行的代码然后才能开始写真实的逻辑，用java在hadoop上写同样功能的代码附在最后，因为实在是太长了。

第三，像其他脚本语言一样，pig跑代码和测试非常方便，只需要修改代码，然后跑程序。但是如果用java，你需要修改，编译，打包源码成jar，然后才能运行。

第四，当在hadoop上使用java或者streaming时，即使测试代码也需要在真实的集群上运行，但是如果用pig，使用"-x local" 参数可以在本地运行，使用本地文件系统，这不仅仅使测试的更快，而且比使用hdfs更方便检查结果。如果你只是想跑小数据，可以是直接使用这个参数，不使用集群。

第五，使用"-c"进行语法检查使得对pig的编码变得非常悠闲，你不用担心漏写一个字母会让你重新测试一遍。像python那样由于单元测试的不足而没发现的bug不会再存在。

第六，pig有扩展性非常好的API，你可以实现UDF(user defined function)来处理复杂的数据单元处理，比如进行字符串的变换，计算一堆数据的方差，或者以DIY的格式读写数据。更方便的是，java sdk中的函数可以直接应用带pig中而不需要额外的编码。

import xxxx;
...
import xxxx;
public class QueryCount extends Configured implements Tool{
 public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {

  @Override
  public void map(LongWritable key, Text value, Context context)
              throws IOException, InterruptedException{
    //map logic
  }
 }
 public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable>{
  @Override
  public void reduce(Text key, Iterable<IntWritable> values, Context context)
              throws IOException, InterruptedException{
   //reduce logic
  }
 }

 @Override
 public int run(String[] args) throws Exception {
  Job job = new Job(getConf());
  //some settings on job

  boolean success = job.waitForCompletion(true);
  return success?0:1;

 }

 public static void main(String[] args) throws Exception{
  int ret = ToolRunner.run(new QueryCount(), args);
  System.exit(ret);
 }


}