zilong230905的专栏

区别Receiver接收数据，这种方式定期地从kafka的topic+partition中查询最新的偏移量，再根据偏移量范围在每个batch里面处理数据，使用的是kafka的简单消费者api  优点：1. 简化并行，不需要多个kafka输入流，该方法将会创建和kafka分区一样的rdd个数，而且会从kafka并行读取。  2. 高效，这种方式并不需要WAL，WAL模式需要对数据复制两次，第一次

createDirectStream方式通过以下四步，获取key和message 1. 获取Topic上次消费到的offset，信息保存在inputTopicLockMaster参数配置的zk中,即,localhost:2181 2. Create direct kafka stream with brokers and topics 2. 利用MessageAndMetadata，重写接口PairFunction<T, K, V>的方法，获取key和message 4. 获取rdd每个元素的key、mes