一、前言
Terasort可以测试Kubernetes平台对于Spark计算过程的如下需求的支持:
从HDFS读取能力
向HDFS写入能力
shuffle中网络读写能力
本文使用如下terasort的实现,包括TeraGen、TeraSort和TeraValidate:
转载自https://blog.youkuaiyun.com/cloudvtech
二、准备工作
2.1 获取代码
git clone https://github.com/ehiggs/spark-terasort.git
2.2 修改编译配置
指定合适的spark和scala版本
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<scala.version>2.11.8</scala.version>
<scala.binary.version>2.11</scala.binary.version>
<spark.version>2.1.1</spark.version>
</properties>
2.3 编译
mvn install
ls target/
archive-tmp generated-sources maven-status spark-terasort-1.1-SNAPSHOT-jar-with-dependencies.jar
classes jars site spark-terasort-1.1-SNAPSHOT-javadoc.jar
classes.440875732.timestamp maven-archiver spark-terasort-1.1-SNAPSHOT.jar surefire
转载自https://blog.youkuaiyun.com/cloudvtech