
Kafka
小白是我吖
这个作者很懒,什么都没留下…
展开
-
Kafka之消费者
消费者是否自动提交偏移量,默认值是true,不保留数据,将消息消费掉避免出现重复数据和数据丢失,可以把它设为 false。properties.put("enable.auto.commit", "true");...原创 2019-07-18 14:05:23 · 151 阅读 · 0 评论 -
kafka常见问题如果想消费已经被消费过的数据
转载出处:https://blog.youkuaiyun.com/weixin_39256396/article/details/82894699 1、consumer是底层采用的是一个阻塞队列,只要一有producer生产数据,那consumer就会将数据消费。当然这里会产生一个很严重的问题,如果你重启一消费者程序,...转载 2019-07-18 14:07:11 · 10379 阅读 · 0 评论 -
Kafka提交offset机制
转载出处:https://www.cnblogs.com/FG123/p/10091599.html————————————————————————————————————————————在kafka的消费者中,有一个非常关键的机制,那就是offset机制。它使得Kafka在消费的过程中即使挂了或者引发再均衡问题重新分配Partation,当下次重新恢复消费时仍然可以知道从哪里开始消费。它好比...转载 2019-07-18 14:22:14 · 3633 阅读 · 0 评论 -
Kafka中有100条数据,消费者取出10条后关闭,之后启动是否可以取出后续的90条
消费者取出10条后关闭。之后启动是否可以取出后续的90条消费者取出10条后关闭。之后启动可以取出后续的90条,在kafka的消费者中,有offset机制,offset机制:kafka消费者在对应分区上已经消费的消息数【位置】。它使得Kafka在消费的过程中即使挂了或者引发再均衡问题重新分配Partation,当下次重新恢复消费时仍然可以知道从哪里开始消费。...原创 2019-07-17 17:54:51 · 1199 阅读 · 1 评论 -
zookeeper安装
1、先进入/opt下载并解压最新稳定的zookeeper文件cd /optwget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz(jar包一定要选对,否则死你都不知道怎么死的。)tar -zxvf zookeeper-3.4.14.tar.gz 解压新建data和logs...转载 2019-07-17 18:20:46 · 273 阅读 · 0 评论 -
Kafka在Windows上部署
1.配置好jdk环境2.下载并解压zookeeper到指定目录,找到解压后目录中conf文件夹中zoo_sample - 副本.cfg文件,复制在conf中改名为zoo.cfg。在bin文件夹中打开zkServer.bat启动zookeeper。至此,zookeeper启动完成。3.解压kafka到指定目录。查看kafka根目录中config文件夹下server.properties,确认其...转载 2019-07-17 18:25:11 · 739 阅读 · 0 评论 -
Java操作Kafka
Maven<dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> ...转载 2019-07-17 18:40:03 · 2339 阅读 · 0 评论