Kubernetes与大数据之四:基于Kubernetes的Spark运行Terasort(50GB data)

本文详细介绍了如何在Kubernetes集群上利用Spark进行Terasort测试,涵盖从HDFS读取、写入及shuffle网络能力。首先,文章提供了Terasort项目的源码链接,接着阐述了准备工作,包括获取和编译代码,设置合适的Spark和Scala版本。然后,通过创建数据目录、设置namespace和权限来准备运行环境。最后,详细列出运行TeraGen、TeraSort和TeraValidate的步骤,包括Spark提交参数,并展示了运行过程的监控图表和资源使用情况。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

一、前言

Terasort可以测试Kubernetes平台对于Spark计算过程的如下需求的支持:

从HDFS读取能力

向HDFS写入能力

shuffle中网络读写能力

本文使用如下terasort的实现,包括TeraGen、TeraSort和TeraValidate:

https://github.com/ehiggs/spark-terasort

转载自https://blog.youkuaiyun.com/cloudvtech

二、准备工作

2.1 获取代码

git clone https://github.com/ehiggs/spark-terasort.git

2.2 修改编译配置

指定合适的spark和scala版本

<properties>
  <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  <scala.version>2.11.8</scala.version>
  <scala.binary.version>2.11</scala.binary.version>
  <spark.version>2.1.1</spark.version>
</properties>

2.3 编译

mvn install

ls target/
archive-tmp                  generated-sources  maven-status                    spark-terasort-1.1-SNAPSHOT-jar-with-dependencies.jar
classes                      jars              site                            spark-terasort-1.1-SNAPSHOT-javadoc.jar
classes.440875732.timestamp  maven-archiver    spark-terasort-1.1-SNAPSHOT.jar  surefire

转载自https://blog.youkuaiyun.com/cloudvtech

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值