Kafka的那些事儿

What is Kafka？

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，也是为了通过集群来提供实时的消费。
kafka的消息处理核心是Topic机制。

简要使用手册

安装

• 版本
  从官网获取到安装包，kafka_2.12-0.10.2.1.tgz。说明下版本：

  • kafka_后面的代表了scala的版本与kafka的版本使用一个”-“隔开
  • 2.12代表scala版本号
  • 0.10.2.1是kafka版本号

• 安装
  上传kafka_2.12-0.10.2.1.tgz到服务器/home目录
  假设我们将kafka安装到/home/kafka目录

  • 解压->复制全部解压文件到/home/kafka目录
    

    $ mkdir /home/kafka
    $ tar -zxvf kafka_2.12-0.10.2.1.tgz
    $ cp -R /home/kafka_2.12-0.10.2.1/ /home/kafka/
    $ rm -rf kafka_2.12-0.10.2.1.tgz
    $ rm -rf /home/kafka_2.12-0.10.2.1/

就这么简单，kafka安装完了，不过我们还得了解下基本配置和Shell，才能正在运行发挥kafka的威力

配置

配置目录

我们首先来看下，kafka主目录下的config配置文件目录，这里存放着kafka和zookeeper的配置文件。

• config配置文件目录
  我们在这里只说明几个主要的配置文件

  • kafka服务配置：server.properties
  • zookeeper服务配置：zookeeper.properties
  • 日志配置：log4j.properties
  • 消息生产者配置：producer.properties
  • 消息消费者配置：consumer.properties

• bin命令行（Shell）目录
  我们这里只说明常用命令

  • kafka服务启动：kafka-server-start.sh
  • kafka服务关闭：kafka-server-stop.sh
  • kafka的Topic操作：kafka-topics.sh
  • kafka命令行模拟生产者：kafka-console-producer.sh
  • kafka命令行模拟消费者：kafka-console-consumer.sh
  • zookeeper服务启动：zookeeper-server-start.sh
  • zookeeper服务关闭：zookeeper-server-stop.sh
  • zookeeper命令行客户端：zookeeper-shell.sh

Shell