
spark
weixin_40530363
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark安装及问题
http://www.cnblogs.com/dupengfei-summer/p/9304553.html转载 2019-03-14 10:35:58 · 255 阅读 · 0 评论 -
spark-sql基础知识
1.RDD vs DataFrames vs DataSet 1.1RDD RDD是一个懒执行的不可变的可以支持Lambda表达式的并行数据集合。 RDD的最大好处就是简单,API的人性化程度很高。 RDD的劣势是性能限制,它是一个JVM驻内存对象,这也就决定了存在GC的限制和数据增加时Java序列化成本的升高。 1.2DataFrame 与RDD类似,DataFrame也是一个分布式数据容器。然...原创 2019-07-31 19:16:02 · 149 阅读 · 0 评论