Spark gensort 排序

gensort简介

一个排序数据生成工具
- sortbenchmark 是一个排序基准评估网站
- gensort是sortbenchmark网站官方的记录生成器
- 每一条记录均包含100bytes，其中前10字节是key值，后余字节为value值
- 用前10字节排序

用法(生成10条记录ascii的txt)

./gensort -a 10 r10.txt

验证

./valsort r10.txt

记录样本

AsfAGHM5om 00000000000000000000000000000000 0000222200002222000022220000222200002222000000001111
~sHd0jDv6X 00000000000000000000000000000001 77779999444488885555CCCC777755555555BBBB666644446666
uI^EYm8s=| 00000000000000000000000000000002 CCCCFFFF777799995555FFFF11112222999988884444DDDDFFFF
Q)JN)R9z-L 00000000000000000000000000000003 FFFF111100000000000066668888BBBB33333333AAAA1111CCCC

spark rdd排序

加载txt

r1000.txt在hdfs上 spark默认从hdfs上加载数据，用本地使用file：//
val rdd = sc.textFile("/data/r