DRD

问题解决过程线上一个界面发现老是没有数据，排查下来时生产者没有成功发送消息所致，报错如下：org.springframework.kafka.core.KafkaProducerException: Failed to send; nested exception is org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 0 ms. 我们发现配置里有一个很奇怪的参数 config.p

问题上线后发现，经常有个页面显示的信息有缺失，研究代码发现只有收不到kafka消息时，才会这样排查消费端等待30s，原则上时间上是比较充足的，后面确认kafka的服务器确实没有收到相关消息，这下子直接把问题指向了生产者了生产者加上回调，发现发送报错了：org.apache.kafka.common.errors.TimeoutException: Failed to update meta after 0ms分析线上生产者参数如下：configs.put("max.block.ms", 0);

例子如下： @Autowired KafkaTemplate<String, String> kafkaTemplate; public void testKafkaTemplate () { ListenableFuture<SendResult<String, String>> future = kafkaTemplate.send("topic", "{\"key\": \"value\"}"); Complet

需求调用某个接口，返回结果包含traceId，然后跟进该traceId去kafka查找debug日志。分析因为拿到traceId的时候，对方其实已经把debug信息发送到kafka了，所以我再在拿到traceId，再去kafka查找就要设置auto.offset.reset=earliest, 这就会导致我多查询很多的无效数据。假如我在调用接口前，先订阅该topic，使用默认auto_offset_reset为latest，在拿到traceId再poll()，结果怎么样呢？不行，因为在poll时发现

Kafka的各种相关命令操作操作关闭kafka查看是否启动查询和删除主题关闭kafkabin/kafka-server-stop.sh查看是否启动// 不太靠谱[root@localhost kafka_2.11-2.3.0]# ./bin/kafka-server-start.sh -daemon[root@localhost kafka_2.11-2.3.0]# jps9094 ...

Kafka各种报错1.Replication factor: 2 larger than available brokers: 12.ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)3.Configured broker.id 130 doesn't match stored broker.id 0 in meta.properti...

CentOS7单机安装配置Kafka教程前提单机安装验证前提官网下载kafka_2.11-2.3.0.tgzhttps://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.11-2.3.0.tgz已安装zookeeper：教程：https://blog.youkuaiyun.com/sndayYU/article/details/10...

CentOS7单机和集群安装配置Kafka教程下载单机安装下载官网下载kafka_2.11-2.3.0.tgzhttps://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.11-2.3.0.tgz单机安装1.利用xftp复制到/usr/local/，并解压，创建日志目录tar -zxvf /usr/local/kafk...

kafka使用的java例子demo前提代码maven消费者生产者运行前提zookeeper和kafka的win10下单机伪集群请参考：https://blog.youkuaiyun.com/sndayYU/article/details/90718238https://blog.youkuaiyun.com/sndayYU/article/details/90718786代码maven<depend...

总结Kafka速度的秘诀在于，它把所有的消息都变成一个批量的文件，并且进行合理的批量压缩，减少网络IO损耗，通过mmap提高I/O速度，写入数据的时候由于单个Partion是末尾添加所以速度最优；读取数据的时候配合sendfile直接暴力输出。转自：https://blog.youkuaiyun.com/eson_15/article/details/90746239...

Win10配置安装Kafka前提jdkzookeeper下载安装单机配置运行集群配置运行附录官方文档前提jdkzookeeperzookeeper的安装配置见另一篇博文：https://blog.youkuaiyun.com/sndayYU/article/details/90718238下载网址：http://kafka.apache.org/downloads下载：kafka_2.12-2....