MapReduce求最大值

最新推荐文章于 2025-07-02 22:26:39 发布

lzm1340458776

最新推荐文章于 2025-07-02 22:26:39 发布

阅读量1.1w

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Hadoop Hadoop案例实战文章标签： MapReduce求最大值

本文链接：https://blog.youkuaiyun.com/lzm1340458776/article/details/43227759

一：背景

求最值是MapReduce的常见算法，应用也很广泛，比如说求出某大型销售网站各个站点销售量最大的商品，人口最多的城市等等，MapReduce求最大值的关键是要实现cleanUp()方法。

二：技术实现

#需求有两个文件max和max2，现要求合并两个并找出最大值。

#max文件数据如下：

#max2文件数据如下：

实现代码如下：

public class MaxTest {
	// 定义输入路径
	private static final String INPUT_PATH = "hdfs://liaozhongmin:9000/max_file/*";
	// 定义输出路径
	private static final String OUT_PATH = "hdfs://liaozhongmin:9000/out";

	public static void main(String[] args) {

		try {
			// 创建配置信息
			Confi