Spark
关注
分享
扫一扫
Yonu
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark基础梳理
1 Spark基础篇 1.1 Spark生态和安装部署 在安装过程中，理解其基本操作步骤。 安装部署 Spark安装简介 Spark的源码编译 Spark Standalone安装 Spark Standalone HA安装 Spark应用程序部署工具spark-submit Spa...原创 2019-08-09 00:11:22 · 140 阅读 · 0 评论 -
Spark streaming + kafka
1、Hadoop和Spark的关系 Spark是为了跟Hadoop配合而开发出来的，不是为了取代Hadoop，专门用于大数据量下的迭代式计算。 Spark运算比Hadoop的MapReduce框架快的原因是因为Hadoop在一次MapReduce运算之后，会将数据的运算结果从内存写入到磁盘中，第二次MapReduce运算时再从磁盘中读取数据，所以其瓶颈在2次运算间的多余I/O消耗。Spark则是将...原创 2019-08-11 22:07:48 · 166 阅读 · 0 评论