
SparkSQL
码农的世界,你不懂
这个作者很懒,什么都没留下…
展开
-
SparkSQL核心知识
一、SparkSQL概述 1、概念 官网:http://spark.apache.org/sql/ Spark SQK是Spark用来处理结构化数据(结构化数据可以来自外部结构化数据源也可以通过RDD获取)的一个模块 外部的结构化数据源包括 Json,parquet(默认),rmdbs,hive等 2、Spark SQL的优点 mapreduce...原创 2019-11-05 14:49:37 · 172 阅读 · 0 评论 -
SparkSQL入门(4)
无论是SQL AST,DataFrame还会Dataset都是按照这个流程来执行的 Unresolved Logical Plan 先生成一个纯粹的逻辑计划,这个时候还没和实际上的数据有任何的交互 Logical Plan 这个时候和数据交互后得到一个实际的逻辑执行计划 Optimized Plan 因为上一步已经和数据进行一定的交互,引擎可以在这个基础上进行一定的优化 Physical Plan...原创 2019-10-31 15:21:56 · 101 阅读 · 0 评论