SparkSQL
关注
分享
扫一扫
文章平均质量分 82
匿名啊啊啊
这个作者很懒，什么都没留下…
展开
-
SparkSQL学习（一）SparkSQL简单使用
1、SparkSQL的进化之路1.0以前： Shark1.1.x开始： SparkSQL(只是测试性的) SQL1.3.x: SparkSQL(正式版本)+Dataframe1.5.x: SparkSQL 钨丝计划1.6.x： SparkSQL+DataFrame+DataSet(测试版本)1.x: SparkSQL+DataFrame+DataS...原创 2018-05-04 21:25:48 · 1384 阅读 · 0 评论 -
SparkSQL学习 （二）SparkSQL的自定义函数UDF
在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种：UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等UDAF（User- Defined Aggregation Funcation），用户自定义聚合函数，类似在group by之后使用的sum,avg等UDTF(User-Defined Table-Generat...原创 2018-05-04 22:55:36 · 1174 阅读 · 0 评论 -
SparkSQL学习（三）SparkSQL读取Mysql的两种方式
第一种：package Mysqlimport java.util.Propertiesimport org.apache.spark.sql.DataFrameimport org.apache.spark.sql.hive.HiveContextimport org.apache.spark.{SparkConf, SparkContext}object SparkSQL1 ...原创 2018-05-27 21:40:17 · 8934 阅读 · 1 评论