小桥

前提：已经配置好kafka。若未安装，可以参照【Apache Kafka】安装升级指南已在eclipse里面安装scala插件。Eclipse Kepler中在Help->Eclipse Markectplace中搜索Scalar，然后安装即可。使用maven构建kafka测试project在eclipse中。创建topic：在kafka的安装目录下执行bin/

1. 解压安装包2. 配置server.properties (现在线上配置)目录在 config 下，修改配置信息    修改 broker.id 为不同的值0 ，1 ，2 ...host.name 设置IP 供连接使用zookeeper.connect 设置 zk 地址  例如：zkhost1:port1,zkhost2:port2,zkhost3:port3/kafk

最近在维护kafka集群，遇到了很多问题都需要记录下，1.   kafka 的topic 级别的配置修改

接上一篇kafka监控的博文讲起，在kafka 源码kafka/utils中有Mx4jLoader.scala源码，源码注释功能如下：?123456789/** * If mx4j-tools is in the classpath call maybeLoad to load the HTTP interface

kafka的一些操作命令：

集群搭建：修改 broker.id 为不同的值0 ，1 ，2 。。。host.name 设置IP 供连接使用zookeeper.connect 设置 zk 地址  注意：zk地址设置是可以为 172.17.44.176:2181,172.17.44.178:2181,172.17.44.180:2181,172.17.44.184:2181,172.17.44.192:2181/k

组内分享Kafak的ppt，希望大家多提建议：

前言: kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格,但是需要日志存储端具备较高的数据吞吐能力,这种"宽松"的设计要求,非常适合使用kafka.

本文采用的是kafka0.7.2，安装好kafka后在kafka的contrib目录下有关于kafka与hadoop的一系列文件，我们可以使用hadoop-consumer目录下的脚本及配置文件将kafka中某topic的信息发送到HDFS中。1.修改test目录下的test.properties的配置文件。kafka.etl.topic：topic的名称hdfs.defaul

Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。背景介绍Kafka创建