kafka 应用

kafka官方文档

一. 什么是kafka

kafka 就是一个消息队列的框架，就是一个能实现高吞吐量的消息队列，在这个高吞吐的基础上，在实现实时性和时效性

因为kafka是一个消息队列框架，所以先明白什么是消息队列，消息队列是干什么的。

消息队列 就是一个消息的队列，，，主要特点是异步处理，主要目的是减少请求响应时间和解耦。所以主要的使用场景就是将比较耗时而且不需要即时（同步）返回结果的操作作为消息放入消息队列。同时由于使用了消息队列，只要保证消息格式不变，消息的发送方和接收方并不需要彼此联系，也不需要受对方的影响，即解耦和。

使用场景的话，举个例子：
假设用户在你的软件中注册，服务端收到用户的注册请求后，它会做这些操作：

1. 校验用户名等信息，如果没问题会在数据库中添加一个用户记录
2. 如果是用邮箱注册会给你发送一封注册成功的邮件，手机注册则会发送一条短信
3. 分析用户的个人信息，以便将来向他推荐一些志同道合的人，或向那些人推荐他
4. 发送给用户一个包含操作指南的系统通知
5. 等等……

但是对于用户来说，注册功能实际只需要第一步，只要服务端将他的账户信息存到数据库中他便可以登录上去做他想做的事情了。至于其他的事情，非要在这一次请求中全部完成么？值得用户浪费时间等你处理这些对他来说无关紧要的事情么？所以实际当第一步做完后，服务端就可以把其他的操作放入对应的消息队列中然后马上返回用户结果，由消息队列异步的进行这些操作。

或者还有一种情况，同时有大量用户注册你的软件，再高并发情况下注册请求开始出现一些问题，例如邮件接口承受不住，或是分析信息时的大量计算使cpu满载，这将会出现虽然用户数据记录很快的添加到数据库中了，但是却卡在发邮件或分析信息时的情况，导致请求的响应时间大幅增长，甚至出现超时，这就有点不划算了。面对这种情况一般也是将这些操作放入消息队列（生产者消费者模型），消息队列慢慢的进行处理，同时可以很快的完成注册请求，不会影响用户使用其他功能。

所以在软件的正常功能开发中，并不需要去刻意的寻找消息队列的使用场景，而是当出现性能瓶颈时，去查看业务逻辑是否存在可以异步处理的耗时操作，如果存在的话便可以引入消息队列来解决。否则盲目的使用消息队列可能会增加维护和开发的成本却无法得到可观的性能提升，那就得不偿失了。（ 知乎解释）

现在消息队列明白了，那kafka就简单了，它就是一个高级的消息队列，本质它还是消息队列，只是内部做了处理提高了它的信息吞吐量和实时性和时效性（kafka理解帖子）

• 该制片API允许应用程序发布的记录流至一个或多个卡夫卡的话题。
• 该消费者API允许应用程序订阅一个或多个主题，并处理所产生的对他们记录的数据流。
• 所述流API允许应用程序充当流处理器，从一个或多个主题消耗的输入流，并产生一个输出流至一个或多个输出的主题，有效地变换所述输入流，以输出流。
• 该连接器API允许构建和运行卡夫卡主题连接到现有的应用程序或数据系统中重用生产者或消费者。例如，连接到关系数据库的连接器可能会捕获对表的每个更改。

二.kafka工作简单解析

    kafka的配置十分简单，它是基于zookeeper管理broker，broker就是kafka的服务器，也就是生产者-消费者中的经纪人

kafka的工作流程

中间的brokers 是zookeeper来管理，所以安装kafka前要先安装zookeeper环境，kafka也自己继承了zookeeper ，只是一个单节点的zookeeper不是zookeeper集群，

详细解析帖子

总的说，kafka内部是如何处理数据的我们先不用详细了解，只要知道，kafka在创建topic也就是主题时就是一个消息队列，会分片，就是把topic分片存在broder中，具体分多少片需要手动设置

如：kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

这就是创建一个test主题，分片为1个，复制1 个，就是在当前的broker中建立一个分片 ，并且有一个复制本，这个合起来是一个topic 复制本是为了防止分片信息的完整性

三.kafka 快速启动

搭建zookeeper环境

搭建kafka环境

搭建方法

注意，这个是搭建的zookeeper集群+kafka集群，开始可以搭一个简单的，就是用zookeeper单节点来管理kafka单节点（就是一个broker） 或者 管理 kafka集群（多个broker）

而其中zookeeper的搭建主要注意的是 1 版本 稳定版，2,jdk安装 

zookeeper的配置信息不搭建集群 用默认的就行 ，，搭建集群需要处理好myid和server.x

zookeeper 集群就完事了，注意的是zookeeper集群会自动的选择哪个是主服务，哪个是从服务，而实际操作中连接哪个服务地址是一样的。

kafka集群搭建注意的是：1.kafka内部有一个封装了的zookeeper 只要修改 zookeeper.properties 并在启动kafka服务时先启动zookeeper服务  搭建方法 内部自带的和外部下载的一样

kafka配置文件主要修改的是 broder.id  port  和log.dir  zookeeper.connect, 其他的用默认即可

这样kafka就搭建完成了。

测试

kafka 状态信息显示

kafka 基本操作

创建一个topic 让生产者产生消息，再让消费者消耗消息