ZJ__ZFH的博客

消息队列 消息队列实现原理.png 点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此 发布/订阅模式（一对多，数据生产后，推送给所有订阅者） 发布订阅模型则是一个基于推送的消息...

环境准备 集群规划 hadoop-100 hadoop-101 hadoop-102 zookeeper zookeeper zookeeper kafka kafka kafka 下载jar包 下载地址 http://kafka.apache.org/ kafka下载1.png 如上图，点download kafka下载...

Kafka生产过程分析 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率） 分区（Partition） 消息发送时都被发送到一个topic，其本质就是一个目录，而topic是由一些Partition Logs(分区日志)组成，其组织结构...

环境准备 启动zookeeper集群和kafka集群，在kafka集群中打开一个消费者 [hadoop@hadoop-100 kafka]$ zkservers start [hadoop@hadoop-100 kafka]$ zkservers status [hadoop@hadoop-100 kafka]$ mykafka start [hadoop@hadoop-100 kafk...

拦截器原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。 对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(inte...

Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序 Kafka Streams特点 功能强大 高扩展性，弹性，容错 轻量级 无需专门的集群 一个库，而不是框架 完全集成 100%的Kafka 0.10.0版本兼容 易于集成到现有的应用程序 ...

Kafka与Flume比较 flume，cloudera公司研发 适合多个生产者； 适合下游数据消费者不多的情况； 适合数据安全性要求不高的操作； 适合与Hadoop生态圈对接的操作。 kafka，linkedin公司研发 适合数据下游消费众多的情况； 适合数据安全性要求较高的操作，支持replication。 因此常用的一种模型是： 线上数据 --> flume --> kafka...