
SparkSQL
shark.zyq
work@alibaba
hangzhou
展开
-
SparkSQL 概述
Base on spark 1.5.1 overview SQLContext默认解析器为"sql",用于解析sql语句。 除了SQLContext之外,还有HiveContext,用了更加完善的解析器,默认解析器为spark.sql.dialect="hiveql"原创 2015-11-03 15:11:47 · 1403 阅读 · 1 评论 -
SparkSQL 相关API
一、SQLContext.scala中的接口说明 大部分接口都是创建DataFrame 1、构造:SQLContext的构造只需要一个SparkContext参数 2、设置/获取 配置:setConf/getConf 3、isCached/cacheTable/uncacheTable/clearCache:数据缓存相关,提高查询速度,需谨慎防止OOM原创 2015-11-03 20:51:14 · 2552 阅读 · 0 评论