DreamSun的博客

Kafka最初由Linkedin公司开发，是一个分布式的、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常用于web/nginx日志、访问日志、消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

一般认为，采用消息传送机制/消息队列 的中间件技术，进行数据交流，用在分布式系统的集成。中间件被描述为为应用程序提供操作系统所提供的服务之外的服务，简化应用程序的通信、输入输出的开发，使他们专注于自己的业务逻辑。消息中间件适用于需要可靠的数据传送的分布式环境。采用消息中间件机制的系统中，不同的对象之间通过传递消息来激活对方的事件，完成相应的操作。发送者将消息发送给消息服务器，消息服务器将消息存放在若干队列中，在合适的时候再将消息转发给接收者。

上面我们对kafka的为什么使用内存池，使用内存池的好处进行了分析，然后对它怎么实现进行了分析，分别从创建，使用和释放去进行详细说明，不过我们应该记住的是，kafka使用内存池的条件是我们的消息的大小必须小于等于batch.size的值，这样内存池才能发挥它的作用，如果我们的消息很大，然而也没对batch.size进行设置，使用的是默认值，那么将不能使用内存池，不能发挥它的性能。

在Native组件的支持下，动态运行不会受到任何影响，而静态资源的访问利用了操作系统本身提供的0拷贝传送，CPU消耗降低，响应时间缩短，吞吐率大大提高，混合的连接模式支持最大达到10000个并发客户端的同时访问，与Apache Web服务器相当。JBoss Web服务器具有原生特性和强大的可扩展性，可支持多种并非基于Java的服务器内容处理技术，可同时运行JSP, Servlet, Microsoft .NET , PHP 及 CGI，为其提供一个单一的、高性能的企业级部署平台。

为什么要用消息推送？主要是目前我们面授业务和ulcd很多场景，需要对消息的实时性要求高，比如学员上课老师发送课程资料，学员签到大屏显示签到状态，学员考试练习前后，大屏实时考试练习状态，统计结果。如果不采用消息推送方式，无法保证实时性，用户体验差。

在大数据中，使用了大量的数据。关于数据，我们有两个主要挑战。第一个挑战是如何收集大量的数据，第二个挑战是分析收集的数据。为了克服这些挑战，您必须需要一个消息系统。Kafka专为分布式高吞吐量系统而设计。Kafka往往工作得很好，作为一个更传统的消息代理的替代品。与其他消息传递系统相比，Kafka具有更好的吞吐量，内置分区，复制和固有的容错能力，这使得它非常适合大规模消息处理应用程序。消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据，但不担心如何共享它。

MQ（message queue）消息队列，也叫消息中间件。消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。它是类似于数据库一样需要独立部署在服务器上的一种应用，提供接口给其他系统调用。