weixin_43589563的博客

参考：快手面试题详解: Kafka为什么能那么快的6个原因1）顺序写磁盘Kafka的producer生产数据，要写入到log文件中，写的过程是一直追加到文件末端，为顺序写。官网有数据表明，同样的磁盘，顺序写能到600M/s，而随机写只有100K/s。这与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的时间。2） Page CacheCache 层在内存中缓存了磁盘上的部分数据。当数据的请求到达时，如果在 Cache 中存在该数据且是最新的，则直接将数据传递给用户程序，免除了对底层磁盘

消费方式consumer采用pull（拉）模式从broker中读取数据。push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。而pull模式则可以根据consumer的消费能力以适当的速率消费消息。pull模式不足之处是，如果kafka没有数据，消费者可能会陷入循环中，一直返回空数据。针对这一点，Kafka的消费者在消费数据时会传入一个时长参数t

1. Kafka文件存储机制从图中可以获取的信息：1.producer和consumer group进行写入和读取都是面向副本中的leader2.同一个分区的不同副本不可以存储在同一个broker上3.同一个broker上没有对topic和分区的限制，一个broker上可以有多个topic，也可以有一个topic的多个partition4.消息是以topic进行分类的；kafka数据存储机制topic是逻辑上的概念，而partition是物理上的概念(1)追加写入的log文件每个p

Kafka 下载http://kafka.apache.org/downloads.html集群部署集群规划hadoop102 hadoop103 hadoop104zk zk zkkafka kafka kafka集群安装及配置kafka版本说明以kafka_2.11-2.4.1.tgz为例，2.11是kafka版本，2.4.1是编写kafka的scala版本1.安装1）解压安装包[user1@hadoop102 softwa

1.kafka-topics.sh1）查看当前服务器中的所有topicbin/kafka-topics.sh --zookeeper hadoop102,hadoop103,hadoop104:2181/kafka --listbin/kafka-topics.sh --bootstrap-server hadoop102,hadoop103,hadoop104:9092 --list2) 查看某个Topic的详情kafka-topics.sh --zookeeper hadoop102:21

第一章 概述1.kafka消息队列（1）kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域2. 消息队列的优点1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。2）缓冲有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。峰值处理能力 在访问量