chinasun的博客

Kafka官方介绍：Kafka是一个分布式的流处理平台(0.10.x版本)，在kafka0.8.x版本的时候，kafka主要是作为一个分布式的、可分区的、具有副本数的日志服务系统(Kafka™ is a distributed, partitioned, replicated commit log service), 具有高水平扩展性、高容错性、访问速度快、分布式等特性；主要应用场景是：日志收

Kafka提供了两种Consumer API，分别是：High Level Consumer API 和 Lower Level Consumer API(Simple Consumer API) High Level Consumer API：高度抽象的Kafka消费者API；将底层具体获取数据、更新offset、设置偏移量等操作屏蔽掉，直接将操作数据流的处理工作提供给编写程序的人员。优点

Kafka提供了两种Consumer API，分别是：High Level Consumer API 和 Lower Level Consumer API(Simple Consumer API) High Level Consumer API：高度抽象的Kafka消费者API；将底层具体获取数据、更新offset、设置偏移量等操作屏蔽掉，直接将操作数据流的处理工作提供给编写程序的人员。优点

一、Kafka数据收集机制 Kafka集群中由producer负责数据的产生，并发送到对应的Topic；Producer通过push的方式将数据发送到对应Topic的分区 Producer发送到Topic的数据是有key/value键值对组成的，Kafka根据key的不同的值决定数据发送到不同的Partition，默认采用Hash的机制发送数据到对应Topic的不同Partition中

一个Topic中的所有数据分布式的存储在kafka集群的所有机器(broker)上，以分区(partition)的的形式进行数据存储；每个分区允许存在备份数据/备份分区(存储在同一kafka集群的其它broker上的分区) 每个数据分区在Kafka集群中存在一个broker节点上的分区叫做leader，存储在其它broker上的备份分区叫做followers；只有leader节点负责该分区的

一个Topic分为多个Partition来进行数据管理，一个Partition中的数据是有序、不可变的，使用偏移量(offset)唯一标识一条数据，是一个long类型的数据 Partition接收到producer发送过来数据后，会产生一个递增的offset偏移量数据，同时将数据保存到本地的磁盘文件中(文件内容追加的方式写入数据)；Partition中的数据存活时间超过参数值(log.ret

一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成 header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果magic的值为0，那么不存在attrib

Kafka支持的基本命令位于${KAFKA_HOME}/bin文件夹中，主要是kafka-topics.sh命令；Kafka命令参考页面: kafka-0.8.x-帮助文档    -1. 查看帮助信息 bin/kafka-topics.sh --help   -2. 创建Topic bin/kafka-topics.sh --create --t

[Kafka] - Kafka 安装介绍 Kafka是由LinkedIn公司开发的，之后贡献给Apache基金会，成为Apache的一个顶级项目，开发语言为Scala。提供了各种不同语言的API，具体参考Kafka的cwiki页面； Kafka的安装方式主要分为三种：单机安装、伪分布式安装、分布式安装；安装基本配置一样，区别在于：单机安装是在一台服务器上只安装一个bro

根据业务需要可以使用Kafka提供的Java Producer API进行产生数据，并将产生的数据发送到Kafka对应Topic的对应分区中，入口类为：Producer Kafka的Producer API主要提供下列三个方法： 　　public void send(KeyedMessage message) 发送单条数据到Kafka集群 　　public void send(L