Ubuntu简单安装kafka及使用

Ubuntu简单安装kafka及使用

参考地址：https://www.jianshu.com/p/d0e630c8f4ae

kafka是一个分布式的基于发布订阅模式的消息队列，主要应用于大数据实时处理领域。（kafka是消费者主动拉取生产者的信息）

作用（所有的消息队列）：（1）、解耦：不需要两个应用都同时在线（强依赖）；（2）、缓冲：解决生产消息和消费消息的处理速度不一致的情况；（3）、灵活性&削封：在访问量剧增的情况下，可以使关键组件顶住突发的访问压力，而不会造成组件的崩溃；（4）、异步通信：当一些信息不需要立即处理时，可以充当队列，在需要处理的时候从队列中获取。

（为防止log文件过大导致数据定位效率低下，kafka采取了分片和索引机制，将每个分区分为多个片段（segment），每个segment对应两个文件--.index和.log文件）

分区原因：

　　（1）、方便在集群中扩展。每个分区可以通过调整以适应它所在的机器，而一个topic又可以由多个分区组成，因而整个集群就可以适应任意大小的数据了；

　　（2）、可以提高并发。因为可以以分区为单位进行读写了。

kafka数据可靠性保证（不丢数据）：为保证producer发送的数据，能可靠的发送到指定的topic，topic的每个分区收到producer发送的数据之后，都需要向producer发送acks（acknowledgement确认收到），如果producer没有收到acks，将会重新发送数据，否者进行下一轮发送。

kafka采用所有副本同步完成之后，才发送acks（这样做延迟高，但是重新选举leader时，容忍n台节点的故障，只需要n+1