Kafka 详解（二）

 3.API操作

3.1.API位置

3.2.手动管理offset

通过consumer.commitSync();方法。

4.kafka分区策略

4.1.四种分区策略

①指定分区

②根据key的hash值

③没有指定分区和key，则轮询。

④自定义分区

4.2.自定义分区

5.kafka与flume整合

https://flume.apache.org/FlumeUserGuide.html#kafka-sink

6.kafka如何保证数据不丢失

6.1.生产者producer

6.1.1同步模式

producer.type=sync request.required.acks=1 # 设置发送数据是否需要服务端的反馈,有三个值0,1,-1 # 0: producer不会等待broker发送ack # 1: 当leader接收到消息之后发送ack # -1: 当所有的follower都同步消息成功后发送ack.

6.1.2.异步模式

producer.type=async
request.required.acks=1
queue.buffering.max.ms=5000
queue.buffering.max.messages=10000
queue.enqueue.timeout.ms=-1
batch.num.messages=200

通过buffer来进行控制数据的发送，分别是时间阈值与消息的数量阈值，如果buffer满了数据还没有发送出去，如果设置的是立即清理模式，风险很大，一定要设置为阻塞模式。

结论：producer有丢数据的可能，但是可以通过配置保证消息的不丢失。

6.2. 消费者consumer

通过offset来记录每次消费到了哪一条数据，

低速的消费模式：offset记录在了本地磁盘文件

高速的消费模式：zookeeper的节点上

6.3.服务器broker：

数据分区，备份保证数据的不丢失。