Hadoop之RandomTextWriter使用

最新推荐文章于 2023-03-05 22:27:17 发布

最新推荐文章于 2023-03-05 22:27:17 发布 · 854 阅读

文章标签：

#大数据

MapReduce 同时被 2 个专栏收录

54 篇文章

订阅专栏

Hadoop

11 篇文章

订阅专栏

本文详细介绍了如何使用RandomTextWriter工具来生成指定大小的数据集，以进行压测等操作。通过设置参数如总字节数，我们可以轻松创建庞大的数据文件，为系统性能评估提供有力支持。

作用：

RandomTextWriter是为了mock数据集的，做压测等，MRv1和MRv2的参数值不一样，不过其参数标示含义一样，我们以MRv2来做说明：

产生100G的数据：

bin/hadoop jar  share/hadoop/mapreduce2/hadoop-mapreduce-examples-xx.jar randomtextwriter -Dmapreduce.randomtextwriter.totalbytes=10995116277760 /home/test/mrinput

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

dataee

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

实例演示使用HiBench对Hadoop集群进行基准测试

Sicilly的博客

03-28

3442

HiBench 一、简介 HiBench 是一个大数据基准套件，可帮助评估不同的大数据框架的速度、吞吐量和系统资源利用率。它包含一组 Hadoop、Spark 和流式工作负载，包括 Sort、WordCount、TeraSort、Repartition、Sleep、SQL、PageRank、 Nutch indexing、Bayes、Kmeans、NWeight 和增强型 DFSIO 等。它还包含多个用于 Spark Streaming 的流式工作负载、Flink、Storm 和 Gearpump。

hadoop wordcount

yandao的博客

06-21

2378

wordcount

1 条评论您还未登录，请先登录后发表或查看评论

1 条评论

2201_75367557 2023.06.17
你好，请问怎么改变产生数据的大小呢？

Hadoop实例RandomWriter

YUSDook的博客

05-14

742

RandomWriter（随机写）例子利用 Map/Reduce把数据随机的写到dfs中。每个map输入单个文件名，然后随机写BytesWritable的键和值到DFS顺序文件。map没有产生任何输出，所以reduce没有执行。产生的数据是可以配置的。配置变量如下名字默认值描述 test.randomwrite...

Hadoop之RandomTextWriter说明

smallnetvisitor的博客

04-15

767

需求：需要mock一批数据，基于数据做测试或者分析，RandomTextWriter可以满足需求，不过MRv1和MRv2的参数不是很一致。详述： MRv1： <config> <property> <name>test.randomtextwrite.min_words_key</name> &...

精通HADOOP（五） - 初识Hadoop - 执行和测试Hadoop样例程序

热门推荐

云时代架构

11-14

1万+

1.1 执行和测试Hadoop样例程序在Hadoop安装目录中你会找到包含Hadoop样例程序的JAR文件，你可以用它来试用Hadoop。在你执行这些样例程序以前，你应该保证你的安装是完全的和你的执行时环境的设置是正确的。我们在前面小节中提到，check_basic_env.sh脚本能够帮助你校验安装，如果安装有任何错误，它会提示你改正。 1.1.1 Hadoop的样例代码 hadoop-0.19.0-examples.jar文件包含着数个可以直接运行的样例程序。我们在图标1-4中列出包

hadoop实例 RandomWriter

x_i_y_u_e的专栏

10-09

1489

随机写例子把 10G（默认）的数据随机的写到dfs中利用 Map/Reduce 每个map输入单个文件名，然后随机写BytesWritable的键和值到DFS顺序文件。map没有产生任何输出，所以reduce没有执行。产生的数据是可以配置的。配置变量如下名字默认值描述 test.randomwriter.maps_per_host 10 Nu

RandomTextWriter源码注释

liguangyuanyinli的博客

10-15

1075

package org.apache.hadoop.examples; import java.io.IOException; import java.util.ArrayList; import java.util.Date; import java.util.List; import java.util.Random; import org.apache.hadoop.co...

Hadoop wordcount报错解决方案

阿拉修

06-30

1989

Error: Could not find or load main class org.apache.hadoop.mapred.YarnChild 解决方案： 1, 在命令行执行，复制信息。冒号用逗号代替 hadoop classpath 2 , 编辑yarn-site.xml，添加信息：</configuration> <property> <name>namemapreduce.reduce.env/name</name>

hadoop-mapreduce-examples-2.8.4.src反编译后java代码

11-30

hadoop-mapreduce-examples-2.8.4.src反编译后hadoop实例源码(java)，另外一些hadoop下的一些环境变量，下载这个的小伙伴如果需要的话可以在下方留言，我会分享一下。

大数据之Hadoop2

qq_43502858的博客

06-05

289

大数据之Hadoop2.0入门 1.大数据概念介绍 大数据特性与应用特性：多，快，繁； 大数据起源于社交网络，发展于电商平台， 大数据的特征：快速的数据流转（Velocity），多样的数据类型（Variety），海量的数据规模（Volume），发现数据价值（Value）。 Volume：数据量大 TB，PB Variety：数据多种多样， Veracity：真实性，数据的准确性...

1.生产集群读写测试50g数据randomwriter

kk25114的博客

01-16

373

生产硬件规格浪潮：20核，128G，10.98TB 浪潮：20核，128G，10.98TB 浪潮：20核，128G，10.98TB 浪潮：20核，128G，10.98TB 浪潮：20核，128G，10.98TB 引用1.测试集群 http://note.youdao.com/noteshare?id=3332b5f14230918c41f084a1524a7a03&sub=...

intel-hadoop/HiBench流程分析----以贝叶斯算法为例

weixin_33676492的博客

10-23

532

1.HiBench算法简介 Hibench 包含9个典型的hadoop负载（micro benchmarks,hdfs benchmarks,web search bench marks,machine learning benchmarks和data analytics benchmarks）具体参考CDH集群安装&测试...

在文件存储 HDFS 上使用 Apache Flink

m0_66975666的博客

02-26

618

本文主要为大家介绍在文件存储HDFS上搭建及使用Apache Flink的方法。

Hadoop基本操作

m0_73971893的博客

03-05

3301

Hadoop基本操作方法

hadoop自带RandomWriter例子解析

成长是一个持续的过程

04-10

1752

步骤：在eclipse中运行右键--》run as -->run configuration 在Programs argument中添加：/user/hadoop/output（此处随你自己修改）代码： /** * Licensed to the Apache So

运行hadoop基准测试

竹叶青的专栏

11-03

1万+

由于需要为hadoop集群采购新的服务器，需要对服务器在hadoop环境下的性能进行测试，所以特地整理了一下hadoop集群自带的测试用例： bin/hadoop jar hadoop-*test*.jar 运行上述命令，可以得到hadoop-*test*.jar自带的测试程序An example program must be given as the first argument

hadoop-mapreduce-examples Hadoop实例

12-07

1619

[root@master hadoop-3.1.1]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar An example program must be given as the first argument.Valid program names are: aggregatewo...