
kafka
漫玥刚花
这个作者很懒,什么都没留下…
展开
-
KafKa学习之路(转)
1、Kafka学习之路 (一)Kafka的简介:https://www.cnblogs.com/qingyunzong/p/9004509.html2、Kafka学习之路 (二)Kafka的架构:https://www.cnblogs.com/qingyunzong/p/9004593.html3、Kafka学习之路 (三)Kafka的高可用:https://www.cnblogs.com...转载 2019-06-04 19:52:55 · 147 阅读 · 0 评论 -
Kafka中生产者的配置详情
参数 默认值 描述 producer.type sync 指定消息发送是同步还是异步。 异步asyc成批发送用kafka.producer.AyncProducer, 同步sync用kafka.producer.SyncProducer metadata....原创 2019-07-04 16:52:47 · 1856 阅读 · 0 评论 -
Kafka中消费者的配置
参数 默认值 描述 groupid groupid 一个字符串用来指示一组consumer所在的组 socket.timeout.ms 30000 socket超时时间 socket.buffersi...原创 2019-07-04 16:52:04 · 1747 阅读 · 0 评论 -
Kafka中的server配置详情
参数 默认值 描述 broker.id -1 每一个boker都有一个唯一的id作为它们的名字。当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况 port 9092 ...原创 2019-07-04 16:51:20 · 1291 阅读 · 0 评论 -
Kafka中的server及zookeeper配置详情
broker.id =0每一个broker在集群中的唯一表示,要求是正数。当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况log.dirs=/data/kafka-logskafka数据的存放地址,多个地址的话用逗号分割 /data/kafka-logs-1,/data/kafka-logs-2port =9092broker ...原创 2019-07-04 16:48:31 · 2730 阅读 · 0 评论 -
多线程消费者编写方式
1.1 web.xml文件添加listenner,如下:<listener> <listener-class>com.sinosoft.lis.listener.ConsumerThreadListener</listener-class></listener>1.2 编写监控类,实现ServletContextListener 接口...原创 2019-07-04 15:34:21 · 127 阅读 · 0 评论 -
消费组详解
https://www.cnblogs.com/huxi2b/p/6223228.html原创 2019-07-03 10:37:04 · 310 阅读 · 0 评论 -
kafka自带的slf4j和logback冲突
springboot项目中使用kafka时报错如下:SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/E:/maven/repo/ch/qos/logback/logback-classic/1.1.11/logback-classic-1.1.11.jar!/org/s...原创 2019-07-03 10:00:51 · 1220 阅读 · 0 评论 -
kafka主要配置
Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。官网配置地址:Configuration每个kafka broker中配置文件server.properties默认必须配置的属性如下: 1 broker.id=0 2 port=9092 3 num.network.thread...原创 2019-06-27 15:34:22 · 154 阅读 · 0 评论 -
Kafka消费者组再均衡问题(转)
再均衡发生的场景有以下几种:1. 组成员发生变更(新consumer加入组、已有consumer主动离开组或已有consumer崩溃了)2. 订阅主题数发生变更,如果你使用了正则表达式的方式进行订阅,那么新建匹配正则表达式的topic就会触发rebalance3. 订阅主题的分区数发生变更鉴于触发再均衡后会造成资源浪费的问题,所以我们尽量不要触发再均衡group.id指定了消费者所...转载 2019-06-27 14:41:45 · 926 阅读 · 0 评论 -
关于Kafka 的 consumer 消费者手动提交详解(转)
转自:https://www.cnblogs.com/xuwujing/p/8432984.html前言在上一篇Kafka使用Java实现数据的生产和消费demo中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的consumer消费者的讲解。应用场景在上一篇kafka的consumer消费者,我们使用的是自动提交offset下标。但是offset下标...转载 2019-06-27 14:13:38 · 919 阅读 · 0 评论 -
Kafka实例学习网站
https://www.jianshu.com/p/48eddba198fahttps://www.jianshu.com/u/f3baddfa95fc原创 2019-06-26 20:09:45 · 142 阅读 · 0 评论 -
华为DMS-Kafka SLF4J: Failed toString() invocation on an object of type [org.eclipse.jetty.websocket.s
在配置SpringBoot的log时,遇到如下错误:SLF4J: Failed toString() invocation on an object of type [org.eclipse.jetty.websocket.server.WebSocketServerFactory]Reported exception:java.lang.NullPointerException ...原创 2019-06-25 19:31:00 · 1403 阅读 · 0 评论 -
KafKa基础知识
文档上传原创 2019-07-24 10:31:16 · 127 阅读 · 0 评论