Spark
关注
分享
扫一扫
章鱼没有小丸子
互联网爱好者
展开
-
Spark Session 组件以及应用
在理解spark-session之前让我们理解入口点，一个入口点是控制从操作系统传递到提供的程序的地方。 在2.0入口之前，spark-core的入口点是sparkContextSparkContext在Apache Spark中的功能：获取spark应用程序的当前状态设置配置访问各种服务取消job取消一个stage关闭清洁注册Spark-Listener可编程动态分配访问...原创 2019-06-14 11:01:44 · 358 阅读 · 0 评论 -
Spark-Sql（RDD----DataFrame3种方式)
DataFrame是什么在Spark中，DataFrame是一种按列组织的分布式数据集，概念上等价于关系数据库中一个表或者是Python中的data frame，但是在底层进行了更丰富的优化。DataFrame与RDD的对比以及联系DataFrame里面存放的结构化数据的描述信息，DataFrame要有表头（表的描述信息），描述了有多少列，每一列数叫什么名字、什么类型、能不能为空？D...原创 2019-06-14 16:00:27 · 1106 阅读 · 0 评论