Spark Streaming 读取Kafka数据源

1. Kfaka介绍

        Kfaka是一种高吞吐量的分布式发布订阅消息系统，用户通过Kafaka系统可以发布大量的消息，同时也能实时订阅消费消息；Kafka 可以同时满足在线实时处理和批量离线处理。在公司的大数据生态系统中，可以把Kafka作为数据交换枢纽，不同类型的分布式系统(关系数据库、NoSQL数据库、流处理系统、批处理系统等)，可以统一接入到Kafka，实现和Hadoop各个组件之间的不同类型数据的实时高效交换。

 1. Broker

Kafka集群包含一个或多个服务器，这种服务器被称为broker；

2. Topic

每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。

3. Partition

是物理上的概念，每个Topic包含一个或多个Partition；

4. Producer

负责发布消息到Kafka broker；

5. Consumer

消息消费者，向Kafka broker读取消息的客户端；

6. Consumer Group

每个Consumer属于一个特定的Consumer Group。

2. Kfaka的安装与准备工作

安装教程参考： http://dblab.xmu.edu.cn/blog/1096-2/

假设安装目录为： /usr/local/kfaka

下载安装文件为Kafka_2.11-0.10.2.0.