Kafka快速搭建及使用

快速开始

##第一步： 下载安装包 https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz   ##第二步上传到Master节点上并解压 tar –zxvf kafka_2.11-1.1.0.tgz   为了能够生产者Producer在生产数据时，不产生LEADER_NOT_AVAILABLE的错误导致无法发送数据至Kafka，需要将9020端口打开，去掉listeners=PLAINTEXT://:9092注释即可 分发到slave2和slave3中 Scp –r /usr/local/kafka root@slave2:/usr/loca   修改配置slave2中 server.properties  broker.id=1 slave3中server.properties  broker.id=2   ##启动服务器 启动zookeeper  zkServer.sh start 在每台机器上启动 kafka        bin/kafka-server-start.sh -daemon config/server.properties       ##创建一个topic ##创建一个名为test的topic ，有一个分区和一个副本  bin/kafka-topics.sh  --create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test ##查看topic list bin/kafka-topics.sh –list –zookeeper localhost:2181 ##查看信息 “leader”是负责给定分区所有读写操作的节点。每个节点都是随机选择的部分分区的领导者。 “replicas”是复制分区日志的节点列表，不管这些节点是leader还是仅仅活着。 “isr”是一组“同步”replicas，是replicas列表的子集，它活着并被指到leader。   ##修改分区数 ##删除主题 Topic test-topic is marked for deletion. Note: This will have no impact if delete.topic.enable is not set to true. 这就是说，这条命令其实并不执行删除动作，仅仅是在zookeeper上标记该topic要被删除而已，同时也提醒用户一定要提前打开delete.topic.enable开关，否则删除动作是不会执行的   ##创建生产者，发送一些消息 Bin/kafka-console-producer.sh –broker-list master:9092 –topic test ##开启一个终端,启动一个consumer bin/kafka-console-consumer.sh –bootstrap-server  master:9092 –topic test