Spark------------------------spark核心SparkStreaming与 kafka、redis的结合

1.Apache spark核心编程

集批处理（离线处理）、交互式处理和流式处理，为一体一栈式大数据解决方案

• Core
  数据式结构：分布式集合RDD
  SparkContext
  批处理（batch processing），处理数据 T + 1
  注意：
  每次数据的数据都是一个固定的数据集，而不是变化

• SQL
  DataFrame/DataSet = RDD + schema
  SparkSession
  老版本：SQLContext/HiveContext
  交互式处理（interactive processing）
  注意：
  每次数据的数据都是一个固定的数据集，而不是变化

• MLlib
  一些算法使用Spark给你实现了，提供了对应API给你用

• Streaming

  流式数据处理（stream processing）
  要处理的数据就像流水一样，源源不断的产生数据，需要实时进行处理
  对SparkCore的高级API的封装，将流式的数据切分为小的批次batch（按照时间间隔）的数据，然后使用SparkCore进行处理
  DStream集合，List
  StreamingContext:上下文对象，从实时流式数据源中接收数据
  底层还是SparkContext

  在大数据技术框架中，对于流式数据的实时数据分析处理方案：
  一条一