yuxianhui66的博客

转载：https://gitbook.cn/books/5bc446269a9adf54c7ccb8bc/index.html消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构，是大型分布式系统不可缺少的中间件。关于分布式消息队列，我在几个月前写过一篇文章：《深入浅出理解基于 Kafka 和 ZooKeeper 的...

一下是客户端 producer和consumer公用的配置，其中：importance:high的是重要参数，重点关注

对于kafka的使用，我本人是2018年才开始使用，之前使用过activeMq以及在京东工作过程中使用过的jmq(京东自己封装的mq组件),发现mq的作用都是一样的，但是同一技术之间的最大区别就是原创作者做技术编写之初时，设计理念的不同，kafka流式处理和分区分片的思想，决定了它在高并发，高访问量的时候，能有很好的高可用，低延时的性能。由于发现网上对kafka相关的技术博客很多，以下几篇博客主要...

Apache Kafka® 是 一个分布式流处理平台一.流处理平台有以下三种特性:可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录，并且有较好的容错性。 可以在流式记录产生时就进行处理。二.它可以用于两大类别的应用:构造实时流数据管道，它可以在系统或应用之间可靠地获取数据。 (相当于message queue) 构建实时流式应...

Kafka控制脚本在Unix和Windows平台有所不同，在Windows平台，请使用bin\windows\而不是bin/, 并将脚本扩展名改为.batStep 1: 下载代码下载1.0.0版本并解压缩。. 1 2 > tar -xzf kafka_2.11-1.0.0.tgz > cd kafka_2.11-1...

1. ProducerIntercptor对消息进行拦截2. Serialzer对key和value进行序列化3. Partitioner对消息选择合适的分区4. RecordAccumulator收集消息，实现批量发送5. Sender从RecordAccumulator获取消息6 构造ClientRequest7 将ClientRequest交给Network,准备...

一.发送消息时序图二.核心字段String clientId：该生产者的唯一标示AtomicInteger PRODUCER_CLIENT_ID_SEQUENCE: clientId生成器Partitioner: 分区选择器，根据一定策略将消息路由到合适的分区int maxRequestSize: 消息的最大长度long totalMemorySize: 发送单...

以下是JAVA生产者的配置（2.X版本及以上）：NAME DESCRIPTION TYPE DEFAULT VALID VALUES IMPORTANCE bootstrap.servers 这是一个用于建立初始连接到kafka集群的"主机/端口对"配置列表。不论这个参数配置了哪些服务器来初始化连接，客户端都是会均衡地与集群中的所有服务器建立连接。...