cache007的专栏

文／jacksu_（简书作者）原文链接：http://www.jianshu.com/p/a46b23e1afb7#rd?sukey=7f8f3cb2e9b0da45d925e25c97e06efd24e732277a82c7d2b256660571bf9fe214dd9a4ef17c4046b16adc461c49472f著作权归作者所有，转载请联系作者获得授权，并标注“简书作者”。

1、  概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这 些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统提供了一种离线处理日志信息的可扩展方案，但若要进行实时处理，通常会有较大延迟。而现有的消（队

背景介绍Kafka创建背景Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（Page Vie

本节主要从整体角度介绍Kafka的设计思想，其中的每个理念都可以深入研究，以后我可能会发专题文章做深入介绍，在这里只做较概括的描述以便大家更好的理解Kafka的独特之处。本节主要涉及到如下主要内容：Kafka设计基本思想Kafka中的数据压缩Kafka消息转运过程中的可靠性Kafka集群镜像复制Kafka 备份机制一、kafka由来由于对JMS日常管理的过度开支和传统JMS可扩

概念和术语消息，全称为Message，是指在生产者、服务端和消费者之间传输数据。消息代理：全称为Message Broker，通俗来讲就是指该MQ的服务端或者说服务器。消息生产者：全称为Message Producer，负责产生消息并发送消息到meta服务器。消息消费者：全称为Message Consumer，负责消息的消费。消息的主题：全称为Message Topic，由用户定义并在Br

kafka.common.ConsumerRebalanceFailedException :log-push-record-consumer-group_mobile-pushremind02.lf.xxx.com-1399456594831-99f15e63 can't rebalance after 3 retriesat kafka.consumer.ZookeeperConsumer