从前有座无庙山

#################consumer的配置参数（开始）################# #如果'enable.auto.commit'为true，则消费者偏移自动提交给Kafka的频率（以毫秒为单位），默认值为5000。 spring.kafka.consumer.auto-commit-interval; #当Kafka中没有初始偏移量或者服务器上不再存在当前偏移量时该怎么办...

上篇文章[Kafka]安装与部署中，搭建了一个三节点的Kafka集群环境。 这篇文章来谈谈如何使用命令行操作集群。 topic创建 创建一个名为test01的topic bin/kafka-topics.sh \ --create \ --zookeeper 192.168.133.13:2181,192.168.133.14:2181,192.168.133.15:2181 \ --repl...

新的版本中kafka都内置了zookeeper，但是内置的zookeeper最好只用作测试，作为线上使用，最好是自己下载新的稳定版的zookeeper，并搭建集群。搭建的流程，可以参考我的另外关于搭建zookeeper集群的文章——《[ZooKeeper]实践篇-安装并搭建集群》 文章目录一、下载kafka二、安装 一、下载kafka 现在最新的kafka版本是2.3.0，可以进官网下载。 ...

文章目录一、建立客户端连接二、客户端命令1.查询指令ls命令stat命令2.创建指令create命令节点类型指定3.修改指令set命令4.删除指令delete指令deleteall5.监控指令setquotalistquotadelquota 一、建立客户端连接 ./zkCli.sh -server 192.168.133.14:2181 [app@node1 bin]$ ./zkCli.sh...

上一篇讲了一些关于zookeeper的理论知识，这一篇讲的是实践。从0到1，安装部署一套可用的zookeeper三节点zookeeper集群环境。 由于我是在自己笔记本上面装的虚拟机，因此无法提供性能较强的虚拟机。 由于某些历史原因，机器版本存在差距，具体机器信息以及版本信息如下表所示： 服务器列表 ip OS release 192.168.133.13 CentOS6.5 ...

这篇文章的背景，是因为公司需要进行kafka的研究，而虽然新版本上弱化了zookeeper的作用，新版本中移除了客户端对ZK的依赖，但是broker依然依赖于zookeeper。 一、概述 官方的解释 ZooKeeper是用于维护配置信息，命名，提供分布式同步和提供组服务的集中式服务。 ZooKeeper 是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于 ZooKeeper 实现诸...

前面提到，数据保存时，如果是以集群形式，那么就有多个partition分布在不同机器上，每个partition又划分为多组segment，每个segment又包含.log,.index,.timeindex文件，用于存放每条message的offset,消息大小,消息体等信息。 那么问题来了，要查找一个offset为368801的消息，该如何查找？ 以下给出原理图： 1.根据二分法，找出对应的s...

概念 kafka是用于构建实时数据管道和流应用程序。具有横向扩展，容错，wicked fast（变态快）等优点，并已在成千上万家公司运行。 producer 生产者，消息产生者，消息的入口。 consumer 消费者，消息消费，消息的出口。 consumer group 消费者组，同一组消费者消费同一个topic中的不同分区数据。 topic 标签，消息的种类。技术角度考虑就是队列，生产者把消息...