peerless_hero的博客

分布式流平台Apache Kafka™是一个分布式流平台，我们认为流式平台(a streaming platform)有以下三个关键的能力： 1.它允许你发布和订阅流记录(streams of records)。从这个角度上说，它接近于一个消息队列或者企业消息系统。 2.它允许你以容错的方式存储流记录。 3.它允许你即时处理消息流。Kafka的优势体现在两大类应用上： 1.构建实时流数据管道

Kafka是由LinkedIn开发的一个分布式的消息系统，同时支持离线和在线日志处理。Kafka框架本身使用Scala编写，因其可水平扩展和高吞吐率而被广泛使用。目前，越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 Kafka的持久化方案是写入磁盘，虽然内存读写速度明显快过磁盘读写速度，但Kafka却通过线性读写的方式实现快速读写。 Ka