小江专栏

Kafka基础概念 Kafka中包含以下基础概念  1. Topic(话题)：Kafka中用于区分不同类别信息的类别名称。由producer指定  2. Producer(生产者)：将消息发布到Kafka特定的Topic的对象(过程)  3. Consumers(消费者)：订阅并处理特定的Topic中的消息的对象(过程)  4. Broker(Kafka服务集群)：已发布的消息保存在一组

kafka重启如果topic副本因子是一个的有可能导致以下两种问题： 1、 class kafka.common.LeaderNotAvailableException错误处理方案： 一般是zk上的leader信息和broker上的leader信息不一致 可以通过如下命令检查 zk上信息： get /brokers/topics/profile-manual-x/partitions/

1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 Schema: { "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号": [ 同步副本组brokerId列表

Kafka日志本身是由多个日志段组成(log segment)。一个日志是一个FileMessageSet，它包含了日志数据以及OffsetIndex对象，该对象使用位移来读取日志数据  * borker配置就是指配置server.properties文件 * 最小配置 通常情况下需要在减压缩kafka后，修改config/server.properties 配置文件中的以下两项 log.

转载地址：http://www.cnblogs.com/zzt-lovelinlin/p/6228773.html kafka常用命令 以下是kafka常用命令行总结： 0.查看有哪些主题： ./kafka-topics.sh --list --zookeeper 192.168.0.201:12181 1.查看topic的详细信息 ./kafka-topics.sh

第一步 配置新得broker 将现有的集群上任一个服务器上的kafka目录拷贝到新的服务器上修改config/server.properties中的broker.id、log.dirs、listeners创建logs.dirs指定的目录，并设定读写权限(chomd -R 777 XXX) broker.id=3 log.dirs=kafka-logs listeners=PLAIN

一、创建topic 使用命令行手动或者向一个不存在的topic发送(生产)消息时都会新创建一个topic  向一个不存在的topic发送(生产)消息时新创建的topic时，其采用为默认的topic-config配置以及server.properties中的topic的配置。 使用命令行手动创建一个topic可以使用 –config 选项配合topic-config配置中的信息来覆盖默认配

配置实践基于kafka的 0.10.0版本 单机伪集群的配置 第一步：打开config/server.properties 文件，修改broker.id，listeners，port,log.dirs vi config/server.properties 1broker.id=0 listeners=PLAINTEXT://172.16.49.173:9092 port=9092 log.

Property Default Description group.id   用来唯一标识consumer进程所在组的字符串，如果设置同样的group id，表示这些processes都是属于同一个consumer group zookeeper.connect   指定zookeeper的连接的字符串，格式是hostnam

名称 说明 类型 默认值 有效值 重要性 bootstrap.servers 用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载，不管哪些server是指定用于bootstrapping。这个列表仅仅影响初始化的hosts（用于发现全部的servers）。这个列表格式：host1:port1,host

Kafka是什么 Kafka最先由LinkedIn公司开发，之后成为Apache的顶级项目。Kafka是一个分布式的、分区化、可复制提交的日志服务LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统 Kafaka的特点 Kafaka是分布式的，其所有的构件borker(服务端集群)、producer(消息生产)、consumer(消息

实践代码采用kafka-clients V0.10.0.0 编写 一、编写producer 第一步：使用./kafka-topics.sh 命令创建topic及partitions 分区数 ./kafka-topics.sh --create--zookepper "172.16.49.173:2181" --topic "producer_test" --partitions 10 rep