真的，学习kafka这份大牛的开发实战笔记必须推荐给你

简介

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

特点

可靠性：具有副本及容错机制。
可扩展性：kafka无需停机即可扩展节点及节点上线。
持久性：数据存储到磁盘上，持久性保存。
性能：kafka具有高吞吐量。达到TB级的数据，也有非常稳定的性能。
速度快：顺序写入和零拷贝技术使得kafka延迟控制在毫秒级。
异步通信：消息队列允许用户把消息放入队列但不立即处理它。

使用场景

消息队列，服务解耦
日志收集
流处理
。

Kafka的核心功能是什么？一言以蔽之，高性能的消息发送与高性能的消息消费。接下来咱们就进入kafka世界，深入实战探讨kafka实战开发。

kafka实战

本书是涵盖ApacheKafka各方面的具有实践指导意义的工具书和参考书。作者结合典型的使用场景，对Katka 整个技术体系进行了较为全面的讲解，以便读者能够举一反三，直接应用于实践。同时，本书还对Kafka的设计原理及其流式处理组件进行了较深人的探讨，并给出了详实的案例。

本书适合所有对云计算、大数据处理感兴趣的技术人员阅读，尤其适合对消息引擎、流式处理技术及框架感兴趣的技术人员参考阅读。

第一章：初识Kafka

第1章全面介绍消息引擎系统以及Kafka的基本概念与特性，快速带领读者走进Kafka的世界；

Kafka快速入门
消息引擎系统
Kafka概要设计
Kafka基本概念与术语
Kafka使用场景
本章小结

第二章：Kafka发展历史

第2章简要回顾了Apache Kafka 的发展历史；第3章详细介绍了Kafka集群环境的搭建；

Kafka的历史
Kafka版本变迁
如何选择Kafka版本
Kafka与Confluent
本章小结

第三章：Kafka线上环境部署

第3章详细介绍了Kafka集群环境的搭建；

集群环境规划
伪分布式环境安装
多节点环境安装
验证部署
参数设置
本章小结

第四章：producer开发

第4、5章深入探讨了Kafka客户端的使用方法；

producer概览
构造producer
消息分区机制
消息序列化
producer拦截器
无消息丢失配置
消息压缩
多线程处理
旧版本producer
本章小结

第五章：consumer开发

consumer概览
构建consumer
订阅topic
消息轮询
位移管理
重平衡( rebalance )
解序列化
多线程消费实例
独立consumer
旧版本consumer
本章小结

第六章：Kafka设计原理

第6章带领读者一览Kafka内部设计原理

broker端设计架构
producer端设计
consumer端设计
实现精确一次处理语义
本章小结

第七章：管理Kafka集群

第7~9章以实例的方式讲解了Kaka集群的管理、监控与调优

集群管理
topic管理
topic动态配置管理
consumer相关管理
topic分区管理
Kafka常见脚本工具
API方式管理集群
MirrorMaker
Kafka安全常见问题
本章小结

第八章：监控Kafka集群

集群健康度检查
MBean监控
broker端JMX监控
clients端JMX监控
JVM监控
OS监控
主流监控框架
本章小结

第九章：优化Kafka集群

引言
确定调优目标
集群基础调优
调优吞吐量
调优延时
调优持久性
调优可用性
本章小结

第十章：Kafka Connect与Kafka Streams

第10章介绍了Kafka 新引入的流式处理组件。

引言
Kafka Connect
Kafka Streams
本章小结
消息传递、存储、流处理这么功能单一来看确实很普通，但如何把它们完美的结合到一起，就是一种优雅的体现，Kafka做到了这一点。
相比HDFS分布式文件存储系统，虽然它能支持高效存储并且批处理数据，但是它只支持处理过去的历史数据。
相比普通的消息系统来说，虽然能处理现在至未来的数据，但是它并不没有存储历史的数据。
Kafka集众家之所长，使整个系统能兼顾各方面的需求，可以用一个词来说： “完美”！