帆了个帆的专栏

公司kafka集群是允许删除topic，但是前段时间组里小伙伴有个topic总是删不掉，也不知道他是怎么删的；后来我尝试手动删除zookeeper中的元数据，看看能否删掉这个topic,操作如下rmr /brokers/topics/nginx_clean_error_datarmr /admin/delete_topics/nginx_clean_error_data命令执行了，但是zookeeper目录依旧存在，这就有点奇怪了，查看日志发现这个topic自动重建了，这也就是为什么zookee

启动：./bin/kafka-server-start.sh -daemon config/server.properties创建1replica 1 partition 的topic bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic t...

leader rebalance之前，有好几个分区的leader都在broker1上[root@hzv_stat_es1 ~]# kafka-topics.sh --describe --zookeeper localhost:2181 --topic resshows_testTopic:resshows_test PartitionCount:6 ReplicationFactor...

博客地址:http://www.fanlegefan.com 文章地址:http://www.fanlegefan.com/archives/kafka-low-level-consumerkafkaKafka是一种高吞吐量的分布式发布订阅消息系统，作为大数据系统中重要的一环，目前最新版本为kafka_2.11-0.10.2.0；在0.9.0版本后就统一了consumer api，不在区分high

博客地址:http://www.fanlegefan.com 文章地址:http://www.fanlegefan.com/archives/kafka-connect将文件中的数据推送topic:connect-test中配置connect-file-source.propertiescat connect-file-source.propertiesname=local-file-sourc

本文转载自 linkedkeeper.com (文／张松然)博客地址:http://www.fanlegefan.com文章地址:http://www.fanlegefan.com/archives/distribute-kafkaKafka的基本介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeep

博客地址:http://www.fanlegefan.com 文章地址:http://www.fanlegefan.com/archives/flume-hdfssink-hivesinkquich startvi example.conf# example.conf: A single-node Flume configuration# Name the components on this a

目前kafka消息格式有三个版本（假定v0,v1,v2），0.10.0之前使用的是v0版本，之后慢慢演变出v1,v2，后两个版本在设计方式上没有什么特别大的区别，只是做了些空间上的优化，同样的消息，新版本的使用存储空间会更小，优化主要在于消息头部的压缩，当然还有些功能上的优化，例如添加了时间戳，相对偏移量等；这些不是今天讨论的重点，今天主要来介绍下v0版本的消息格式设计，首先来看下kafka消息的...