liuhehe的博客

https://blog.youkuaiyun.com/qq_42150559/article/details/100747641

线上环境规划 JVM参数设置 kafka是scala语言开发，运行在JVM上，需要对JVM参数合理设置，参看JVM调优专题 修改bin/kafka-start-server.sh中的jvm设置，假设机器是32G内存，可以如下设置： exportKAFKA_HEAP_OPTS="-Xmx16G -Xms16G -Xmn10G -XX:MetaspaceSize=256M -XX:+UseG1GC -XX:MaxGCPauseMillis=50 -XX:G1HeapRegionSize=16M" .

Kafka核心总控制器Controller 在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器（Kafka Controller），它负责管理整个集群中所有分区和副本的状态。 当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。 当检测到某个分区的ISR集合发生变化时，由控制器负责通知所有broker更新其元数据信息。 当使用kafka-topics.sh脚本为某个topic增加分区数量时，同样还是由控制器负责让新分区被其他节..

@Component public class KafkaTest { @Value("${spring.kafka.producer.retries}") private int retries; @Value("${spring.kafka.producer.batch-size}") private int batchSize; @Value("${spring.kafka.producer.linger:1}") private int li...

https://blog.youkuaiyun.com/qq_39839075/article/details/105522855 kafka seek学习

kafka: bootstrap-servers: 100.95.147.134:9094,100.95.144.104:9094,100.95.146.104:9094 consumer: properties: security: protocol: PLAINTEXT

asdsad

问题： 复现: 生产数据 先add 再delete操作： //使用kafka模拟 先add 再delete操作 Message message = new Message(UUID.randomUUID().toString(), "add product", new Date()); kafkaTemplate.send("product", JSON.toJSONString(me...

当生产数据的时候，报错如下：提示没有可用的kafka 主节点 root@ubuntu-130:/opt/kafka_2.11-0.11.0.2/bin# ./kafka-console-producer.sh --broker-list 192.168.13.130:9092 --topic testtopic >hello [2019-07-14 23:42:47,318] WARN ...

#每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况 broker.id=0 #broker server服务端口 port =9092 #处理网络请求的线程数量 num.network.threads=2 #broker处理磁盘IO的线程数，数值应该大于你的硬盘 num.io....

1.Kafka使用背景 kafka的定义: 是一个分布式消息系统，由LinkedIn使用Scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础，具有高水平扩展和高吞吐量。 应用领域： 已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。如: 淘宝，支付宝，百度，twitter等 目前越来越多的开源分布式处理系...

部署Kafka Offset Minotor： •github下载jar包KafkaOffsetMonitor-assembly-0.2.0.jar : https://github.com/quantifind/KafkaOffsetMonitor/releases •启动Kafka Offset Minotor : java -cp KafkaOffsetMonitor-assembl...