SunnyRivers

Kafka从 0.11.0.0 版本开始提供了一种在生产者和消费者之间传递元数据的机制，叫做 Kafka header。使用这个机制，你可以在消息中添加一些与数据内容无关的附加信息，如消息的来源、类型、版本、生产时间、过期时间、分区数、用户 ID 等等。Kafka header 是由一个或多个键值对组成的列表，每个键值对都称为 header。消息可以包含零个或多个 header。Kafka header 可以看作是消息的元数据，因为它们不包含实际可用的消息负载。

1.什么是kafkakafka是高吞吐量、分布式的发布-订阅消息系统。官网给的定义为：ApacheKafka®是一个分布式流处理平台。这个是什么意思呢？流处理平台有三个关键特性：（1）能够允许发布和订阅流数据。从这角度来讲，平台更像一消息队列或者企业级的消息系统。（2）存储流数据时提供相应的容错机制。（3）当流数据到达能够及时处理。kafka能够很好地的满足以上3...

Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式，可以从代码中简单理解成Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据了。一、基于Receiver的方式这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现的。receiv...

kafka是什么、使用场景kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。kafka生产消息、存储消息、消费消息 Kafka架构是由producer（消息生产者）、consumer（消息消费者）、borker(kafka集群的server，负...

前言在这之前做SparkStreaming连接Kafka，我会这么写：val sparkConf = new SparkConf().setAppName("Spark2Kafka")val ssc = new StreamingContext(sparkConf, Seconds(5))ssc.checkpoint("/xxx/xxx")val kafkaParameters = Ma...