Ubuntu 18 安装Kafka与简单使用

本文详细介绍如何在Ubuntu系统上安装Java和Kafka,包括配置Kafka服务、启动Zookeeper和Kafka,以及创建和管理Kafka Topics。此外,还介绍了如何使用Kafka控制台生产者和消费者来发送和接收消息。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  • 安装Java
    sudo apt-get install openjdk-8-jdk
  • 新版的Kafka已经集成了zookeeper,所以不用单独安装zookeeper
    有需要可以查看安装zookeeper
  • Kafka官网下载Kafka
tar -zxvf kafka_2.11-1.0.0.tgz
  • 进入kafka解压目录,修改kafka-server 的配置文件
vim config/server.properties

如下
broker.id=1
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://ubuntu的IP地址:9092
  • 启动zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
  • 启动Kafka
bin/kafka-server-start.sh config/server.properties
  • 创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
  • 查看 topic 列表
bin/kafka-topics.sh --list --zookeeper localhost:2181
  • 产生消息,创建消息生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  • 消费消息,创建消息消费者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  • 查看Topic消息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
### 在 Ubuntu Docker 环境中部署 Kafka 集群 #### 前置条件 为了成功部署 Kafka 集群,需确认已安装 Docker 和 Docker Compose。如果尚未安装,请访问官方文档完成安装流程[^1]。 --- #### 创建 `docker-compose.yml` 文件 创建一个名为 `docker-compose.yml` 的文件,并将其配置如下: ```yaml version: '3' services: zookeeper: image: confluentinc/cp-zookeeper:latest environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEEPER_TICK_TIME: 2000 ports: - "2181:2181" kafka-1: image: confluentinc/cp-kafka:latest depends_on: - zookeeper ports: - "9092:9092" environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 kafka-2: image: confluentinc/cp-kafka:latest depends_on: - zookeeper ports: - "9093:9093" environment: KAFKA_BROKER_ID: 2 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9093 KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 ``` 上述配置定义了一个 ZooKeeper 实例和两个 Kafka 节点(kafka-1 和 kafka-2)。通过此设置可以启动一个简单Kafka 集群环境。 --- #### 启动 Kafka 集群 在保存好 `docker-compose.yml` 文件后,在同一目录下运行以下命令来启动服务: ```bash docker-compose up -d ``` 这会以后台模式启动所有的容器实例。可以通过以下命令验证各服务的状态: ```bash docker ps ``` 应能看到三个正在运行的服务:ZooKeeper、Kafka-1 和 Kafka-2。 --- #### 访问 Kafka 容器内部 要进入某个 Kafka 容器的 shell 并执行操作,可使用以下命令: ```bash docker exec -it kafka-1 bash cd /opt/kafka/bin/ ``` 或者对于另一个节点: ```bash docker exec -it kafka-2 bash cd /opt/kafka/bin/ ``` 这些路径可能因镜像版本不同而有所变化;具体位置参见实际使用的镜像说明[^2]。 --- #### 创建 Topic 测试 一旦进入Kafka 容器中的 bin 目录,即可尝试创建一个新的主题 (topic),例如命名为 `test-topic`: ```bash ./kafka-topics.sh --create \ --bootstrap-server localhost:9092 \ --replication-factor 1 \ --partitions 1 \ --topic test-topic ``` 随后可通过以下命令查看当前存在的 topic 列表: ```bash ./kafka-topics.sh --list --bootstrap-server localhost:9092 ``` 以上步骤可用于验证集群是否正常工作[^3]。 --- #### 总结 按照前述方法可以在基于 Ubuntu 的 Docker 环境中快速构建起一个可用的 Kafka 集群。整个过程依赖于 Docker 提供的强大虚拟化能力以及预设好的镜像资源简化了传统手动安装配置的工作量。 ---
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值