libotao的博客

Kafka之概述一、消息队列内部实现原理(1)点对点模式(一对一，消费者主动拉取数据，消息收到后消息清除)　　　　点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。(2)发布/订阅模式(一对多，数据生产后，推送给所有订阅者)　　　　发布订...

Kafka与Flume之集成比较一、Kafka与Flume比较在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么：flume：cloudera公司研发: 　　适合多个生产者；　　适合下游数据消费者不多的情况；　　适合数据安全性要求不高的操作；　　适合与Hadoop生态圈对接的操作。kafka：linkedin公司研发:　　适合数据下游消费众多的情况；　　适合数据安全性要求较...

Kafka之配置信息一、Broker配置信息属性默认值描述broker.id必填参数，broker的唯一标识log.dirs/tmp/kafka-logsKafka数据存放的目录。可以指定多个目录，中间用逗号分隔，当新partition被创建的时会被存放到当前存放partition最少的目录。port9092...

Kafka 之 Streams一、概述1.1Kafka Streams　　Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。1.2Kafka Streams特点1)功能强大　　高扩展性，弹性，容错2)轻量级　　无需专门的集群　　一个库，而不是框架3)完全集成　...

Kafka之 API实战一、环境准备　　1)启动zk和kafka集群，在kafka集群中打开一个消费者[hadoop1 kafka]$ bin/kafka-console-consumer.sh \--zookeeper hadoop1:2181 --topic first　　2)导入pom依赖<dependency> <groupId>org...

Kafka之工作流程分析kafka核心组成一、Kafka生产过程分析1.1 写入方式　　producer采用推(push)模式将消息发布到broker，每条消息都被追加(append)到分区(patition)中，属于顺序写磁盘(顺序写磁盘效率比随机写内存要高，保障kafka吞吐率)。1.2 分区(Partition)　　消息发送时都被发送到一个topic，其本质就是一个目录，而...

Kafka 之producer拦截器(interceptor)一、拦截器原理　　Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。　　对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer允许用户指...

Kafka之安装一、下载kafka　　此博客只讲述kafka0.8和kafka1.0两个版本　　更改kafka下的/home/bigdata/kafka/config/server.properties1.1 kafka0.8版本　　20行：broker.id=1　　28行：host.name=hadoop1　　63行：log.dirs=/home/bigdata/kafka0.8/d...