继续微笑lsj

原创文章，转载请务必将下面这段话置于文章开头处。（已授权InfoQ中文站发布） 　　本文转发自Jason’s Blog，原文链接　http://www.jasongj.com/2015/06/08/KafkaColumn3 摘要 　　本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller f

Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对Failover要求非常高。

作者 郭俊 发布于 2015年3月10日 | 11 讨论 分享到：微博微信FacebookTwitter有道云笔记邮件分享 稍后阅读 我的阅读清单 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark

本文是对Linkedin-Camus的介绍。内容都是从Camus的github中摘取出来的，详细的内容要看其说明和源码 Introduction of Camus Camus是Linkedin开源的一个从Kafka到HDFS的数据管道，实际上它是一个MapReduce作业 What is Avro Apache Avro是一个 Data Serializat