
Spark SQL
文章平均质量分 80
海角Q
这个作者很懒,什么都没留下…
展开
-
Spark SQL上下文创建与测试环境搭建
Spark SQL上下文创建与测试环境搭建 版权声明:本文为博主原创文章,未经博主允许不得转载。 手动码字不易,请大家尊重劳动成果,谢谢 作者:http://blog.youkuaiyun.com/wang_wbqSpark SQL上下文创建这篇文章主要介绍Spark SQL,因此默认各位已经有一个搭建好的Spark开发环境了。需要先引入和spark版本一致的sp...原创 2018-03-22 20:25:13 · 1336 阅读 · 0 评论 -
Spark SQL使用说明与DataFrame创建
Spark SQL使用说明与DataFrame创建 版权声明:本文为博主原创文章,未经博主允许不得转载。 手动码字不易,请大家尊重劳动成果,谢谢 作者:http://blog.youkuaiyun.com/wang_wbq启动spark-shell由于spark-shell演示具有显而易见的有点,因此本文主要基于spark-shell对Spark SQL的使用进行介绍...原创 2018-03-22 21:48:46 · 1810 阅读 · 0 评论 -
Spark SQL表达式内部可用函数与相关源码
Spark SQL表达式内部可用函数与相关源码 版权声明:本文为博主原创文章,未经博主允许不得转载。 手动码字不易,请大家尊重劳动成果,谢谢 作者:http://blog.youkuaiyun.com/wang_wbq虽然标题写着是Spark SQL可用函数,但是我并不想直接把它们贴出来。代码是最好的老师,因此我要教大家自己从源码中获得这些函数。因为随着Spark的版本更新,...原创 2018-03-23 20:01:29 · 1587 阅读 · 0 评论 -
Spark SQL常用表达式示例
Spark SQL常用表达式示例 版权声明:本文为博主原创文章,未经博主允许不得转载。 手动码字不易,请大家尊重劳动成果,谢谢 作者:http://blog.youkuaiyun.com/wang_wbq本文使用spark-shell来演示我平时常用的一些Spark SQL表达式,来帮助大家更好体会Spark SQL的使用方式。所有可用函数可以使用这篇文章中的方法进行查看...原创 2018-03-23 21:13:42 · 2225 阅读 · 0 评论 -
Spark SQL表达式解析器-Scala Parser与Antlr4
Spark SQL表达式解析器-Scala Parser与Antlr4 版权声明:本文为博主原创文章,未经博主允许不得转载。 手动码字不易,请大家尊重劳动成果,谢谢 作者:http://blog.youkuaiyun.com/wang_wbqSpark SQL之所以能支持如此强大的表达式系统,是因为其包含了一套字符串解析并生成表达式树的模块。Scala Parser...原创 2018-03-23 23:07:56 · 5719 阅读 · 0 评论 -
Spark SQL 列名带点的处理方法
Spark SQL 列名带点的处理方法 版权声明:本文为博主原创文章,未经博主允许不得转载。 手动码字不易,请大家尊重劳动成果,谢谢 作者:http://blog.youkuaiyun.com/wang_wbq由于这个问题遇到的比较多,因此从我的另一篇博客中摘录出来:https://blog.youkuaiyun.com/wang_wbq/article/details/79672768...原创 2018-03-24 10:36:46 · 6623 阅读 · 1 评论 -
Spark SQL集合数据类型array\map的取值方式
Spark SQL集合数据类型array\map的取值方式 版权声明:本文为博主原创文章,未经博主允许不得转载。 手动码字不易,请大家尊重劳动成果,谢谢 作者:http://blog.youkuaiyun.com/wang_wbq本节主要讨论集合数据类型:数组\列表array、字典map这两种数据类型的索引,首先我们还是先构造数据结构与DataFrame:scala&...原创 2018-03-24 15:14:35 · 23435 阅读 · 5 评论