wackycrazy的专栏

kafka安装配置 说白了kafka安装非常简单，只需要修改config/server.property文件，除了要让borker.id不同，另外要设置一下zookeeper的地址，如果讲究的话把日志生成到指定的一个目录别放到tmp目录启动就是kafka-server-start.sh../config/server.properties & 下面是详细说明  

##查看topic分布情况 kafka-list-topic.shbin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 （列出所有topic的分区情况） bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168

kafka的配置分为 broker、producter、consumer三个不同的配置一 BROKER 的全局配置最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。帮助123456789101112131415161718192

对于kafka的consumer接口，提供两种版本， high-level一种high-level版本，比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 参考，https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example不过要注

Kafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。1.前言一个商业化消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务

目录[-]介绍测试环境代码示例pom.xml文件介绍     http://kafka.apache.org     kafka是一种高吞吐量的分布式发布订阅消息系统     kafka是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以

下载了最新的版本0.8.0 Beta1 Release下载地址：http://apache.org/dist/kafka/0.8.2.1/kafka_2.10-0.8.2.1.tgz 一、安装# tar xzvf kafka-0.8.0-beta1-src.tgz# cd kafka-0.8.0-beta1-src# ./sbt update# ./sbt p

1 Kafka操作日志的清理方法Kafka0.8版本长时间运行过程中，在kafka_2.8.0-0.8.0/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafka-request.log.2014-12-08-03和server.log.2014-12-06-03，这些文件对磁盘空间的消耗非常大，需要定期备份或者清理

Kafka是一个消息系统，由LinkedIn贡献给Apache基金会，称为Apache的一个顶级项目。Kafka最初用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。它具有可扩展、吞吐量大和可持久化等特征，以及非常好的分区、复制和容错特征。Kafka的关键设计决策1). Kafka在设计之时为就将持久化消息作为通常的使用情况进行了考