integrity

spark集群提交任务的命令：bin/spark-submit --master spark://node-1.XXXXX.com:7077,node-2.xxxx.com:7077--executor-memory 512mb --total-executor-cores 4--class com.xxxx.day1.WordCount /root/spark-1.0.jar h

Spark 的组件Spark Core包括Spark的基本功能，包含任务调度，内存管理，容错机制。内部定义了RDDs(弹性分布式数据集)。提供了很多APIs来创建和操作这些RDDs。为其它场景提供了底层的服务Spark SQL:是Spark处理结构化数据的库，就像Hive SQL,Mysql一样。应用场景，企业中用来做报表统计Spark Stre