曹利荣的博客

一、分区副本数设置 由于分区副本仅提供数据冗余的功能，且分区副本数量与集群吐吞量负相关，故冗余度在满足安全要求基础上设置为最小即可。 故我们不妨将分区副本数设置为2.二、kafka分区数设置通过对单个分区的topic进行消费者和生产者的压力测试，得出单个分区所能提供的消费和生产的最大峰值吐吞量。1、创建只有一个分区的topic。kafka-topics.sh --create \--zookeeper Linux001:2181 \--partitions 1 \--repl.

0.9版本1、消息集Message set 一个消息集中包含一条或多条消息，消息集不仅是存储在磁盘及网络传输的基本形式，而且是kafka压缩的基本单元。2、消息Recode一个recode是由多个key-value键值对组成，以下介绍各个key的含义。 CRC32，大小4B。CRC校验值，校验范围为magic到value之间。 magic，大小1B。 消息格式版本号。 attributes，大小1B。 消息类型，最低三位为压缩类型。0 无 1 gzip 2

1、kafka是啥？ kafka是一个高吞吐的分布式消息系统。2、作用 解耦：SparkStreaming与flume之间以及hdfs与flume之间。 缓冲：数据高峰时减小hdfs和SparkStreaming压力，起缓冲作用。kafka消费速度可设置。 异步通信：###注： kafka最主要的作用就是用来做缓冲中间件3、特点及优势 ...

1、kafka是啥？ kafka是一个高吞吐的分布式消息系统。2、作用 解耦：SparkStreaming与flume之间以及hdfs与flume之间。 缓冲：数据高峰时减小hdfs和SparkStreaming压力，起缓冲作用。kafka消费速度可设置。 异步通信：###注： kafka最主要的作用就是用来做缓冲中间件3、特点及优势 ...

链接：https://blog.youkuaiyun.com/ychenfeng/article/details/74980531KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系...