Hadoop排序实例

最新推荐文章于 2022-09-06 08:47:39 发布

superxgl

最新推荐文章于 2022-09-06 08:47:39 发布

阅读量1.5k

点赞数

分类专栏： Hadoop's World 文章标签： hadoop jar random 集群测试框架

本文链接：https://blog.youkuaiyun.com/superxgl/article/details/6329758

版权

Hadoop's World 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了如何使用Hadoop的map/reduce框架进行排序实例，包括IdentityMapper和IdentityReducer的使用。首先，通过RandomWriter生成10GB/node的随机数据，然后利用sort实例进行排序，以此作为可扩展的集群规模基准测试。默认设置为1.0*capacity的reducer数量，但在某些情况下，1.75*capacity可能获得更优结果。排序实例支持多种命令行选项，详细信息可参考DevelopmentCommandLineOptions。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

排序实例

排序实例仅仅用 map/reduce框架来把输入目录排序放到输出目录。输入和输出必须是顺序文件，键和值是BytesWritable.

mapper是预先定义的IdentityMapper，reducer 是预先定义的 IdentityReducer，两个都是把输入直接的输出。

要运行这个例子：bin/hadoop jar hadoop-*-examples.jar sort [-m <#maps>] [-r <#reduces>]

运行排序基准测试

为了使得排序例子作为一个基准测试，用 RandomWriter产生10GB/node 的数据。然后用排序实例来进行排序。这个提供了一个可扩展性依赖于集群的大小的排序基准。默认情况下，排序实例用1.0*capacity作为 reduces的数量，依赖于你的集群的大小你可能会在1.75*capacity的情况下得到更好的结果。

To use the sort example as a benchmark, generate 10GB/node of random data using RandomWriter. Then sort the data using the sort example. This provides a sort benchmark that scales depending on the size of the cluster. By default, the sort example uses 1.0 * capacity for the number of reduces and depending on your cluster you may see better results at 1.75 * capacity.

命令是：

% bin/hadoop jar hadoop-*-examples.jar randomwriter rand % bin/hadoop jar hadoop-*-examples.jar sort rand rand-sort

第一个命令会在rand 目录的生成没有排序的数据。第二个命令会读数据，排序，然后写入rand-sort 目录

排序支持一般的选项：参见DevelopmentCommandLineOptions

http://www.hadooper.cn/dct/page/65777