
Spark
大数据离线和实时计算框架之Apache Spark
景鹏虎晓
这个作者很懒,什么都没留下…
展开
-
使用Kafka+SparkStreaming+MySQL实现大数据入门项目(单词计数)
Kafka+SparkStreaming+MySQL准备工作编码阶段(使用Scala语言)1. 导入依赖2. 核心代码描述:SparkStreaming接收Kafka集群中生产者生产的数据,通过SparkStreaming的算子处理后输出到MySQL数据库中,实现单词计数功能准备工作启动Zookeeper启动Kafka集群创建topic spark[root@HadoopNode0...原创 2019-11-06 23:20:48 · 414 阅读 · 0 评论 -
Spark SQL之DataFrame的纯SQL操作(基于Scala)
文章目录定义Spark SQLDataset & DataFrameDataFrame的纯SQL操作单行查询模糊查询排序查询分组查询limit(限制返回结果条数)having(分组后过滤)case...when语句pivot(行转列)cube(多维度分组)join表连接查询子查询定义Spark SQL参考文档官方参考文档Spark SQL是Spark中一个模块,用以对结构化数据...原创 2019-11-08 17:13:01 · 4202 阅读 · 0 评论