BD_fuhong的博客

为什么Kafka速度那么快Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。针对Kafka的基准测试可以参考，Apache Kafka基准...

一文了解 Kafka 的副本复制机制让分布式系统的操作变得简单，在某种程度上是一种艺术，通常这种实现都是从大量的实践中总结得到的。ApacheKafka的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能，开发者们会回过头来重新思考简化复杂行为的方法。ApacheKafka中一个更细微的功能是它的复制协议（replication protocol）。对于单个集群上...

Kafka 是如何保证数据可靠性和一致性学过大数据的同学应该都知道Kafka，它是分布式消息订阅系统，有非常好的横向扩展性，可实时存储海量数据，是流数据处理中间件的事实标准。本文将介绍Kafka是如何保证数据可靠性和一致性的。文章目录1数据可靠性 1.1Topic 分区副本 1.2Producer 往 Broker 发送消息 1.3Leader 选举 ...

图解Apache Kafka消息偏移量的演变(0.7.x~0.10.x)我在《Apache Kafka消息格式的演变(0.7.x~0.10.x)》文章中介绍了Kafka几个版本的消息格式。仔细的同学肯定看到了在 MessageSet 中的 Message 都有一个 Offset 与之一一对应，本文将探讨Kafka各个版本对消息中偏移量的处理。同样是从Kafka0.7.x 开始...

nohup bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &效果：