禧年

文章目录:1.Kafka 的设计时什么样的呢？2.数据传输的事物定义有哪三种？3.Kafka 判断一个节点是否还活着有那两个条件？4.producer 是否直接将数据发送到 broker 的 leader(主节点)？5、Kafa consumer 是否可以消费指定分区消息？6、Kafka 消息是采用 Pull 模式，还是 Push 模式？7.Kafka 存储在硬盘上的消息格式是什么？8.Kafka 高效文件存储设计特点：9.Kafka 与传统消息系统之间有三个关键区别10.Kafka 创建 Topic 时.

面试遇到过的？kafka 中 topic的partition 是谁决定的答 在创建分区时自己指定的、你创建几个分区机就是有几个。Topic：逻辑概念在 kafka 中，topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 kafka 集群的消息都有一个类别。物理上来说，不同的 topic 的消息是分开存储的，每个 topic 可以有多个生产者向它发送消息，也可以有多个消费者去消费其中的消息。Partition：物理概念每个 topic 可以划分多个

Kafka通过zookeeper来指定一台Kafka broker为controllerKafka集群的所有topic的partition主从选举通过controller来完成。

一、概念剖析Flume+KafkaFlume 是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，通过监控整个文件目录或者某一个特定文件，用于收集数据；同时Flume也 提供数据写到各种数据接受方(可定制)的能力，用于转发数据。Flume 的易用性在于通过读取配置文件，可以自动收集日志文件，在大数据处理及各种复杂的情况下，flume 经常被用来作为数据处理的工具。Source：Flume 搜集日志的方式多种多样，比如可以检测文件夹的变化spool Source，可以监测端

Kafka 概括：Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。1、kafka 消息默认保存时间是7天