qq_35741557的博客

acks = all　　　　　　　　　#指定分区中有多少副本必须收到这条消息，生产者才认为这条消息发送成功 acks = 0　　　　　　#生产者发送消息之后不需要等待任何服务端的响应 acks = 1 　　　#只要分区的leader副本成功写入消息，那么它就会收到服务端的成功响应 acks = -1 或all 　 #生产者在发送消息之后，需要等待ISR中的所有副本都成功写入消息之后，才能够收到来自服务端的成功响应。 batch.siz...

转自：https://www.cnblogs.com/smartloli/p/6266453.html之前版本，Kafka其实存在一个比较大的隐患，就是利用 Zookeeper 来存储记录每个消费者/组的消费进度。目前，Kafka 官网已默认将消费的 offset 迁入到了 Kafka 一个名为 __consumer_offsets 的Topic中。它实现的原理是：利用 Kafka 自身的 Top...

1、KafkaUtils.createDstream构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据，利用的是Kafka高层次的消费者api，对于所有的receivers接收到的数据将会保存在spark executors中，然后通过Spa...

kafka配置参数详解【收藏】3.1      Broker  Configs基本配置如下：-broker.id-log.dirs-zookeeper.connectTopic-level配置以及其默认值将在下面讨论。PropertyDefaultDescriptionbroker.id 每个broker都可以用一个唯一的非负整数id进行标识；这个id可以作为broker的“名字”，并且它的存在使...

转自：https://www.cnblogs.com/zhangtianyuan/p/8483082.htmlcreateDirectStream方式需要自己维护offset，使程序可以实现中断后从中断处继续消费数据。KafkaManager.scala1234567891011121314151617181920212223242526272829303132333435363738394041...