
Spark
这个超人不会灰
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark SQL
DataFrameDataFrame是一种以RDD为基础的分布式数据集,类似于传统数据库中的二维表格。带有schema信息的RDD,主要对结构化的数据高度抽象。DataFrame和RDD的区别:DataFrame带有schema元信息,DataFrame所表示的二维表数据集的每一列都带有名称和类型,这使得SparkSQL得意洞察等多的结构信息,从而对藏于DataFrame背后的数据源以及作原创 2017-11-25 16:20:36 · 362 阅读 · 0 评论 -
Spark (一)
Spark的运行模式local,standalone,yarn,mesos。yarn还分为yarn-client 和 yarn-master学习过程中主要用到local和yarnSpark名词Standalone模式下:Master:集群中含有Master进程的节点。Master是整个集群的控制器,负责整个集群的正常运行。Slave:集群中含有Worker进程的节点。Wor原创 2017-11-25 15:37:07 · 1428 阅读 · 0 评论