
spark-sql
冥想者-定
缘起性空
展开
-
使用SparkSQL分析优快云泄露的用户数据[top-n]
说明 优快云泄露的用户数据的格式如下: aaaaaaa # bbbbbb # xxxxxx@hotmail.com aaaaaaa # bbbbbb # xxxxxx@hotmail.com aaaaaaa # bbbbbb # xxxxxx@hotmail.com aaaaaaa # bbbbbb # xxxxxx@hotmail.com___csdn_1 aaaaaaa # bbbb转载 2016-07-12 23:09:48 · 665 阅读 · 0 评论 -
Spark RDD Transformation 简单用例(三)
cache和persist 将RDD数据进行存储,persist(newLevel: StorageLevel)设置了存储级别,cache()和persist()是相同的,存储级别为MEMORY_ONLY。因为RDD的transformation是lazy的,只有action算子才会触发transformain真正的执行,如果一个rdd需要进行多次的action算子操作,最好能够使用cache或转载 2016-10-20 18:30:34 · 375 阅读 · 0 评论