mischen520的博客

Kafka对于消息体的大小默认为单条最大值是1M但是在我们应用场景中，常常会出现一条消息大于1M，如果不对Kafka进行配置。则会出现生产者无法将消息推送到Kafka或消费者无法去消费Kafka里面的数据，这时我们就要对Kafka进行以下配置：server.propertiesreplica.fetch.max.bytes: 1048576 broker可复制的消息的最大字节数, 默认为1Mmessage.max.bytes: 1000012 kafka 会接收单个消息size的最大限制， 默认为

单分区内有序；多分区，分区与分区间无序；扩展：kafka producer发送消息的时候，可以指定key:这个key的作用是为消息选择存储分区，key可以为空，当指定key且不为空的时候，Kafka是根据key的hash值与分区数取模来决定数据存储到那个分区。有序解决方案：同一张表的数据 放到 同一个 分区=> ProducerRecord里传入key，会根据key取hash算出分区号=> key使用表名，如果有库名，拼接上库名...

（1）通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。（2）高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。（3）支持通过Kafka服务器和消费机集群来分区消息。（4）支持Hadoop并行数据加载。...