Hadoop实践(四)---Hadoop集群测试(MR样例)

本文介绍了Hadoop集群测试中的TeraSort程序,包括使用teragen生成测试数据,terasort进行排序,以及teravalidate进行结果验证。此外,还提到了使用Hadoop进行Pi值估算的测试,详细阐述了nMaps和nSamples参数的含义。通过这些测试,确保了Hadoop MapReduce的正确性和效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hadoop 自带的测试程序在{Hadoop安装目录}/share/hadoop/mapreduce/hadoop-mapreduce-examples-{hadoop版本}.jar

1.terasort测试程序

  1. 使用teragen,生成测试数据
  2. 对生成的数据进行terasort
  3. 使用teravalidate对结果进行检查

1.teragen:

hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-example-2.7.3.jar teragen <num rows> <output dir>

teragen生成的数据每一行的格式如下:<10 bytes key> <10 bytes rowid> <78 bytes filler>\r\n

    评论
    添加红包

    请填写红包祝福语或标题

    红包个数最小为10个

    红包金额最低5元

    当前余额3.43前往充值 >
    需支付:10.00
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明:

    1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

    余额充值