super_mochi1

Apache Spark 是一个快速的，通用的集群计算系统。它对 Java，Scala，Python 和 R 提供了的高层 API，并有一个经优化的支持通用执行图计算的引擎。它还支持一组丰富的高级工具，包括用于 SQL 和结构化数据处理的 Spark SQL，用于机器学习的 MLlib，用于图计算的 GraphX 和 Spark Streaming。Apache Spark是一个开源的分布式计算框架，最早由加州大学伯克利分校AMPLab团队在2012年发布。

Apache Celeborn 源于自研的 EMR Remote Shuffle Service，旨在解决中间数据遇到的及问题。

Apache Livy 是一个为 Apache Spark 提供的强大而灵活的 RESTful 接口，旨在让开发者无论在何处，都能轻松地与 Spark 进行交互。这个开源项目支持执行代码片段或程序，并且可以在本地 Spark 环境或 Apache Hadoop YARN 集群中运行。应用场景总的来说，Apache Livy 是一个强大、开放且易于使用的工具，对于那些希望在 Spark 上构建更高效、更灵活的数据处理系统的开发者而言，它是一个理想的选择。

spark调优

在sql方法中，我们可以直接运行sql语句，persons可以理解为一张表，那么表中的数据 需要从数据源中导入，所以spark sql提供了两种方式的载体来从数据源中加载数据，一个是：DataFrame，另一个是DataSet。DataFrame中提供了详细的数据结构信息，从而使得SparkSQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么，DataFrame中的数据结构信息，即为schema。DataFrame除了提供了比RDD更丰富的算子以外，更重要的特点是提升执行效率。

SparkStreaming概述与编程

Spark RDD执行算子

Spark分组算子

Spark缓存算子

分区算子

Spark键值类转换算子

Spark转换算子Value

spark创建rdd的几种方式

第一个Spark工程

Spark集群部署

scala2.12安装

热点分析

【代码】GeoSpark应用中封装GShape对象。

【代码】GeoSpark实现图形Union操作。

Spark集群安装部署