9、使用MapReduce处理数据：Java与Pig的实践

最新推荐文章于 2025-10-10 11:25:05 发布

人间计算器

最新推荐文章于 2025-10-10 11:25:05 发布

阅读量14

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop大数据实战入门文章标签： MapReduce Java Pig

本文链接：https://blog.youkuaiyun.com/swift5iosmith/article/details/154108529

Hadoop大数据实战入门专栏收录该内容

30 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

使用MapReduce处理数据：Java与Pig的实践

1. Java Word-Count Example 1

在这个示例中，我们将使用Java编写一个简单的MapReduce程序来进行单词计数。

1.1 代码配置

以下是主要的配置代码：

49   public static void main(String[] args) throws Exception
51     JobConf conf = new JobConf(WordCount.class);
52     conf.setJobName("wordcount");
54     conf.setOutputKeyClass(Text.class);
55     conf.setOutputValueClass(IntWritable.class);
57     conf.setMapperClass(Map.class);
58     conf.setCombinerClass(Reduce.class);
59     conf.setReducerClass(Reduce.class);
61     conf.setInputFormat(TextInputFormat.class);
62     conf.setOutputFormat(TextOutputFormat.class);
64     FileInputFormat.setInputPaths(conf, new Path(args[0]));
65     FileOutputFormat.setOutputPath(conf, new Path