【无标题】

window系统的kafka的介绍

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

kafka安装

官网：http://kafka.apache.org/

kafka是一个开源的，分布式的，高吞吐量的、消息发布和订阅系统，也是大数据中用作数据交换的核心组件之一，选择对应的版本进行下载解压到本地盘里。

kafka部署，配置

1、想要启动kafka需要修改kafka配置文件和zookeeper配置文件，配置文件都在跟目录下面的config文件夹下：
2、kafka服务端配置在server.properties文件中，这里需要修改两处配置: listeners和log.dirslisteners:服务器监听的地址，修改如下:
listeners=PLAINTEXT//localhost:9092
log.dirs:日志文件修改为自定义的日志目录，我的是log.dirs=D:/kafka/logs


3、zookeeper配置文件为zookeeper.properties，只需修改—处:
dataDir: zookeeper存储数据的路径，windows环境路径要用D:\ \kafka3.2.1\ \datas这种形式

4、启动zookeeper
先启动zookeeper，进入kafka安装根目录下，地址栏输入cmd，然后回车，注意启动之后不要关闭窗口。启动命令如下:

 .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties //相对路径

启动成功如下图：

start cmd /k D:\kafka3.2.1\bin\windows\zookeeper-server-start.bat D:\kafka3.2.1\config\zookeeper.properties //绝对路径

5、启动kafka服务端
同样进入kafka安装根目录下，地址栏输入cmd，然后回车，启动之后不要关闭窗口。启动命令如下:启动kafka-server

 .\bin\windows\kafka-server-start.bat .\config\server.properties

6、创建kafka-topics
启动zookeeper和kafka服务端这两个命令窗口是必需的，这里通过脚本创建topic通常是用于本地测试kafka服务是否能正常发布和接收消息（新手可以用脚本创建一下测测，用Java实现发送消息可自动创建topic )

同样进入kaika安装根目录下，地址栏输入cmd，然后回车，启动之后不要关闭窗口。假设创建一个名字为test的topic命令如下:

start cmd /k .\bin\windows\kafka-topics.bat --create --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 1 --topic test

kafka使用

创建完kafka-topics后，
启动生产者

 .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

启动生产者之后就可以发送消息了

启动消费者

   .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

启动消费者之后生产者发送的消息，消费者端就能收到了。能进行实时通讯录。