彩虹的约定

Spark的组件介绍 1.Spark Core(任务调度，内存管理) Spark Core 实现了Spark 的基本功能，包括任务调度，内存管理，错误恢复，和存储系统交互等模块。Spark Core 包括了弹性分布式数据集RDD的API定义， 2.Spark SQL(结构化数据) Spark SQL 是Spark用来操作结构化数据的程序包，通过spark sql 可以使用SQL或者Hive

spark-卡方检测 卡方检测基本原理 卡方检测基本步骤 代码实现 *运行结果 代码块import org.apache.log4j.{Level, Logger} import org.apache.spark.mllib.linalg.{Matrices, Matrix, Vectors} import org.apache.spark.mllib.stat.Statistics import

####spark SQL基本操作import org.apache.log4j.{Level, Logger} import org.apache.spark.sql.SparkSession import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.Row import org.apache.spa