tyuopwazs的博客

1 使用kryo序列化 2 调整batch interval时间 默认时间是200ms 每接受一次实际上就是一份task 就会在一份patition上面运行，根据自己设置指定大小的interval 例如batch interval是200ms batch的时间长度是1s 那么就会划分出1s/200ms==》五份patition 也就是五个并行度 最好并行度是core的2-3倍 3 spark....

1 序列化优化 使用高性能的序列化框架 kryo框架 大部分已经注册 如果没有注册 而是自定义的类 SparkConf conf = new SparkConf().set("spark.serializer","org.apach.spark.serializer.Kryoserializer") 那么要注册 2 数据结构优化 使用int代替UUID 使用数组等代替集...