
Spark
不要败给了时间
Talk is cheap! Show me the code!
展开
-
Spark Subtract引出的问题
subtract失效原创 2017-09-06 09:39:10 · 784 阅读 · 0 评论 -
JavaRDD中变量是否新生成
JavaRDD中变量是否新生成原创 2017-09-06 16:17:13 · 356 阅读 · 0 评论 -
Kryo序列化
在上一篇博文中提到,Spark任务中,使用序列化数据的方式对增加其执行效率有很大的作用。并且由于Kryo序列化方式在主动注册自定义类的情况下,无论是序列化速度还是序列化结果的大小,都比Java自身的序列化方式要好。在这篇文章中将根据代码实例来纵向对比Kryo在注册了自定义类、没有注册自定义类下的序列化结果,以及横向对比Kryo和Java两者序列化的时间和结果。Kryo纵向对比原创 2017-09-04 12:10:06 · 4792 阅读 · 0 评论 -
Spark常用调优方法
Spark任务常用优化方式翻译 2017-08-30 20:52:30 · 809 阅读 · 0 评论