stuliper的专栏

kafka消息处理类：MessageAndOffsetcase class MessageAndOffset(message: Message, offset: Long) { /**   * Compute the offset of the next message in the log   */  def nextOffset: Long = offset + 1}...

kafka-pythonfrom kafka import KafkaConsumer,TopicPartition,OffsetAndMetadataconsumer = KafkaConsumer("wd-prd-data-test", group_id="wd_prd_info_group", ...

当前使用的kafka-0.8.2.2 没有安全管理模块kafka-manager没有安全管理模块，通过nginx反向代理、用户认证来实现安全管理做相应的网络安全限制，对外桌面服务可以直接访问nginx服务器，而无法访问部署kafka-mannager的主机（限制端口）方式1：基于kafka-0.8.2.2 开发管理模块对SSL，kerberos，zookeeper分布式鉴权方方式做了些了...

Controller leader在Kafka早期版本，对于分区和副本的状态的管理依赖于zookeeper的Watcher和队列：每一个broker都会在zookeeper注册Watcher，所以zookeeper就会出现大量的Watcher, 如果宕机的broker上的partition很多比较多，会造成多个Watcher触发，造成集群内大规模调整；每一个replica都要去再次zookee...