qq_35686293的博客

1000000字节。

高性能：单一的kafka可以处理成千上万的客户端。可扩展：Kafka集群可以透明的扩展，增加新的服务器进集群容错性：kafka每个分区的数据会复制道几台服务器，当某个broker失效时，zookeper会通知其他消费者和生产者消费其他broker....

1）队列：每调消息只发送给一人2）发布-订阅：消息被广播给每个用户

Apache Kafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的，分区的，重复的日志服务。

我们可以使用bin/kafka-topics.sh命令对kafka增加分区数据，但是kafka不支持减少分区数kafka不支持减少分区数是有很多原因的？1）删除的话，没消费的消息就丢了

1）由于批量发送，数据并非真的实时2）对mqtt协议不支持3）不支持物联网传感数据直接接入4）仅支持统一分区内消息有序5）监控不完善，需要安装插件6）依赖zookeeper进行元数据处理

kafka是分布式消息系统，需要处理海量的消息，kafka的设计是把他写入速度慢容量大的硬盘，kafka主要使用了以下的形式提高吞吐率。1）顺序读写2）0拷贝3）文件分段4）批量发送5）数据压缩...

1 什么时候会再分区1）同一个消费者组新增消费者2）消费者脱离消费者组，包括shuts down 或crashes3)订阅的主题新增分区2 kafka分区的分配策略RoundRobin 和Range默认为rangeRoundRobin分区它针对的是消费者组，对于同一个主题中的分区， 采取轮询的方式分给不同的消费者，对于不同的主题，将所有的主题视为一个整体，对所有主题中的分区进行排序，采取轮询的方式分给不同的消费者。优点：消费者组消费的分区数最多差1。缺定：对于多主题，如果

当有新的消费者加入或者消费的主题发生变化，就会触发再均衡。1）所有的消费者向coordinator发送请求，请求入组，coordinator就会从发送请求的消费者选一个lender.2)选出的lender应该告知那一个消费者应该消费那一个主题的分区，然后把该策略发给coordinator,coordinator再把这个分配策略发给各个fllower....

1）副本因子不能大于broker的个数2）第一个分区的第一个副本放置的位置是随机从brokerList选择的3）其他分区放置的位置相对于第一个分区往后面移4）剩余副本相对于第一个副本放置的位置其实是由nenxtReplicashift决定的，而这个数也是随机产生的。...

1）kafka通过分区将一个大文件分成许多小文件，对小文件很容易清除和删除2）通过索引可快速定位message和respond的大小3）通过index元数据全部映射到memory,避免segment file的IO操作4）通过索引文件稀疏存储，可大幅度降低index数据文件存储空间...

1到底是考虑使用pull模式，还是push模式，kafka遵循了pull模式也就是靠靠消费者主动拉取（produce将消息推送到broke，消费者主动拉取）push:像Scripe和apache flume是使用push 模式。优点：broker能以最大速率发送消息。缺点：当broker推送的消息远大于消费者的速率时，消费者就会崩溃，当broker想避免消费者崩溃，采取远小于消费者速率推送消息，导致一次推送较小的消息造成浪费。pull:消费者主动向broker拉取消息，适合不同消费速率的消费者。