偷闲小苑

简介KafkaOffsetMonitor是由Kafka开源社区提供的一款Web管理界面，用来实时监控Kafka的Consumer以及Partition中的Offset，可以在web界面直观的看到每个Partition的Message的增长速度，是否消费，是否阻塞等。使用如果不想编译，可以直接去下个jar包下载地址写个脚本vim kafkaOffsetMoniter.sh java -cp Kafka

Producer最简配置 metadata.broker.list参数指定broker地址，这里不需要填上所有的broker地址，但是如果只写一个，这个broker挂掉后就无法往topic中写入信息，一般写入2-3个broker地址。 serializer.class指定序列化的方式props.put("metadata.broker.list","broker1:9092,broker2:90

环境：kafka 0.8.1.1基本概念 Kafka维护按类区分的消息，称为主题（topic） 生产者（producer）向kafka的主题发布消息 消费者（consumer）向主题注册，并且接收发布到这些主题的消息 kafka以一个拥有一台或多台服务器的集群运行着，每一台服务器称为broker zookeeper配置修改zk的配置文件conf/zoo.cfgserver.1=zk1:2888:38

场景餐厅老板想要统计每个用户来他的店里总共消费了多少金额，我们可以使用updateStateByKey来实现从kafka接收用户消费json数据，统计每分钟用户的消费情况，并且统计所有时间所有用户的消费情况(使用updateStateByKey来实现)数据格式{"user":"zhangsan","payment":8} {"user":"wangwu","payment":7} ....往kafk

一些说明kafka0.8.2及以上版本已经支持delete命令删除topic，可是之前的版本要是想删除topic还是要费一番手脚，绝对是个体力活。。。该方法只能在线下开发环境试试，因为要重启zookeeper和broker步骤1.在zk中删除topic信息(test) $KAFKA_HOME/bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand

运行的环境要求 Kafka 0.8.1.1+ sbt 0.13.x Java 7+ 功能为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。

文章新地址 文章开始前推荐使用 kafka-manager 工具，可以实时查看kafka同步状态，broker实时读写流量，topic分区情况等信息，提供重选最优leader等操作。 kafka的集群扩容实际上就是把 topic 的 partition 移动到新加的集群上。生成 topic 移动 json文件有两种方式: 通过 --topics-to-move-json-file 和 --bro

问题先前存储kafka日志的磁盘空间太小，zabbix警报不断，于是加了磁盘，将日志存到到新磁盘上。解决方案依次在每台机器上操作，保证有机器能响应producer和consumer的操作。 加磁盘需要重启服务器。1. 拷贝日志服务器启动后，将以前的日志拷贝到新目录cp /data/kafka-logs /home/data/kafka-logs 2. 修改配置文件这里以默认配置文件为例config