Kafka系列（七）、Kafka套件 Confluent Platform 单机/集群部署

原创 已于 2024-10-16 15:08:35 修改 · 4.6k 阅读 · 16 ·
CC 4.0 BY-SA版权
本文为博主原创文章，转载请注明出处http://blog.youkuaiyun.com/wsdc0521
文章标签：

#kafka #confluent #集群 #安装 #部署

于 2020-09-24 02:43:01 首次发布

目录

简介

单机部署

集群部署

尾巴

Kafka系列：

kafka 2.4.1单机版部署及使用

kafka监控系统kafka eagle安装使用

滴滴开源的kafka-manager编译及部署使用

kafka管理监控系统 CMAK(yahoo的kafka-manager)部署及使用

Kafka系列（一）、2.6.0版本kafka集群搭建

Kafka系列（二）、架构原理及存储机制

Kafka系列（三）、生产者分区策略、ISR、ACK机制、一致性语义

Kafka系列（四）、消费者策略、Rebalance机制、Offset存储机制

Kafka系列（五）、开启SASL安全认证以及配置ACL权限控制

Kafka系列（六）、Kafka开发套件kafka lenses 安装及使用（带WebUI）

简介

Confluent 由kafka的核心成员成立，目前最新版Confluent为v5.5.1版本，对应的kafka版本为Apache Kafka_v2.5.0，在Confluent中不仅包含了kafka，还有下面几个组件，增强了kafka的功能也大大提升了kafka的易用性。

  • KSQL：通过SQL查询topic内的数据；
  • Confluent Connetors：支持配置HDFS，Cassandra，MySQL，Oracle，Postgre，MongoDB，Kudu等数据源的source和sink；
  • Confluent clients：支持Java，Python，C/C++，Go，.Net等客户端；
  • Schema Registry：统一消息格式，提前将topic内的数据注册到schema目录表内，消费端无需判断消息内的数据类型，只需要从目录表内找到该主题对应的schema即可；
  • REST Proxy：允许以RESTful api方式直接访问kafka；
  • Confluent Control Center：提供WebUI可视化监控、运维以及开发，简化配置方式；(商业版的功能，试用期30天)

官方网址：Confluent | Apache Kafka® Reinvented for the Cloud

下载地址：Try Free Confluent: Managed Kafka on Any Cloud

单机部署

本次我们安装的是最新版的v5.5.1版本，单机版的安装非常简单，安装步骤如下：

0. JDK1.8（略）
1. 解压tar包
tar -zxvf confluent-5.5.1-2.11.tar.gz -C /opt/app/

2. 配置环境变量
vim /etc/profile
----------------
export CONFLUENT_HOME=/opt/app/confluent-5.5.1
export PATH=$PATH:$CONFLUENT_HOME/bin
----------------

3. 刷新环境变量
source /etc/profile

4. 启动单机confluent
$CONFLUENT_HOME/bin/confluent local start


# ------其他命令-------
# 关闭单机confluent
$CONFLUENT_HOME/bin/confluent local stop

# 清空当前confluent下的数据
$CONFLUENT_HOME/bin/confluent local destroy

启动成功如图：

在浏览器中输入 ip:9021 即可打开Confluent Control Center界面：

Control Center 还有很多其他功能，非常方便，如果公司不差钱的话可以考虑一下。

集群部署

Confluent套件中除了control center以及部分connector以外的组件都是免费的，比apache kafka 更方便，因此接下来我们来部署集群版的Confluent，对于有部署zookeeper 及kafka 经验的人来说 稍微修改一下配置文件也可以将Confluent部署在已有的zk和kafka之上，这里我就使用之前部署好的zk和kafka了，如果要使用confluent中的zk和kafka也是一样的配置，只是配置文件路径在$CONFLUENT_HOME/etc/kafka 内。

可参考的配置： 

Kafka系列（一）、2.6.0版本kafka集群搭建

Zookeeper系列（三）、zk集群安装部署

0. 集群规划：

机器角色端口
wyk01 & wyk02 & wyk03kafka

9092

wyk01 & wyk02 & wyk03zookeeper2181
wyk01 & wyk02 & wyk03

confluent control center

9021
wyk01 & wyk02 & wyk03schema registry8081
wyk01 & wyk02 & wyk03kafka rest proxy8082
wyk01 & wyk02 & wyk03confluent connector8083
wyk01 & wyk02 & wyk03ksql8088

1. wyk01：解压tar包 并配置环境变量

0. JDK1.8（略）
1. 解压tar包
tar -zxvf confluent-5.5.1-2.11.tar.gz -C /opt/app/

2. 配置环境变量
vim /etc/profile
----------------
export CONFLUENT_HOME=/opt/app/confluent-5.5.1
export PATH=$PATH:$CONFLUENT_HOME/bin
----------------

3. 刷新环境变量
source /etc/profile

2. wyk01：配置zookeeper和kafka

cd $CONFLUENT_HOME/etc/kafka
# 备份confluent的配置文件
mv zookeeper.properties zookeeper.properties.bak
mv server.properties server.properties.bak

# 将已有的kafka和zookeeper集群的配置文件复制过来
cp /opt/app/kafka/config/server.properties .
cp /opt/app/zookeeper/conf/zoo.cfg zookeeper.properties

# 修改kafka配置，新增下列confluent参数
vim $CONFLUENT_HOME/etc/kafka/server.properties
--------------------------------------------
metric.reporters=io.confluent.metrics.reporter.ConfluentMetricsReporter
confluent.metrics.reporter.bootstrap.servers=wyk01:9092,wyk02:9092,wyk03:9092
confluent.metrics.reporter.topic.replicas=2
confluent.support.metrics.enable=true
confluent.support.customer.id=anonymous
delete.topic.enable=true

# 如果使用confluent自带的zk和kafka的话，只需要参考kafka和zookeeper集群的方式修改刚才备份的那两个配置文件即可

3. wyk01：配置schema-registry

vim $CONFLUENT_HOME/etc/kafka-rest/kafka-rest.properties
---------------------------------
#修改下面的参数，其他参数保持不变
kafkastore.bootstrap.servers=PLAINTEXT://wyk01:9092,wyk02:9092,wyk03:9092

4. wyk01：配置ksql

vim $CONFLUENT_HOME/etc/ksqldb/ksql-server.properties
---------------------------------
#修改下面的参数，其他参数保持不变
bootstrap.servers=wyk01:9092,wyk02:9092,wyk03:9092
ksql.schema.registry.url=http://wyk01:8081,http://wyk02:8081,http://wyk03:8081

5. wyk01：配置kafka rest

vim $CONFLUENT_HOME/etc/kafka-rest/kafka-rest.properties
---------------------------------
#修改下面的参数，其他参数保持不变
schema.registry.url=http://wyk01:8081,http://wyk02:8081,http://wyk03:8081
zookeeper.connect=wyk01:2181,wyk02:2181,wyk03:2181
bootstrap.servers=PLAINTEXT://wyk01:9092,wyk02:9092,wyk03:9092
listeners=http://0.0.0.0:8082
consumer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor
producer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringProducerInterceptor

6. wyk01：配置confluent connectors

vim $CONFLUENT_HOME/etc/schema-registry/connect-avro-distributed.properties
---------------------------------
#修改下面的参数，其他参数保持不变
bootstrap.servers=wyk01:9092,wyk02:9092,wyk03:9092
key.converter.schema.registry.url==http://wyk01:8081,http://wyk02:8081,http://wyk03:8081
value.converter.schema.registry.url=http://wyk01:8081,http://wyk02:8081,http://wyk03:8081
config.storage.replication.factor=3
offset.storage.replication.factor=3
status.storage.replication.factor=3
rest.port=8083
rest.advertised.port=8083
plugin.path=$CONFLUENT_HOME/share/java

7. wyk01：配置control center

vim $CONFLUENT_HOME/etc/confluent-control-center/control-center-dev.properties
---------------------------------
#修改下面的参数，其他参数保持不变
bootstrap.servers=wyk01:9092,wyk02:9092,wyk03:9092
zookeeper.connect=wyk01:2181,wyk02:2181,wyk03:2181
confluent.controlcenter.rest.listeners=http://0.0.0.0:9021
confluent.controlcenter.id=1    # 每台confluent机器的ID不能有重复
confluent.controlcenter.ksql.ksqlDB.url=http://wyk01:8088  # 每台confluent机器配置各自的IP
confluent.controlcenter.connect.cluster=http://wyk01:8083,http://wyk02:8083,http://wyk03:8083
confluent.controlcenter.schema.registry.url=http://wyk01:8081,http://wyk02:8081,http://wyk03:8081
confluent.controlcenter.internal.topics.replication=2
confluent.controlcenter.command.topic.replication=2
confluent.monitoring.interceptor.topic.replication=2
confluent.metrics.topic.replication=3

8. wyk01：将confluent 分发到wyk02,wyk03节点，并在wyk02,wyk03也配置环境变量

1. wyk01：分发confluent 文件夹
scp -r /opt/app/confluent-5.5.1 root@wyk02:/opt/app/
scp -r /opt/app/confluent-5.5.1 root@wyk03:/opt/app/

2. wyk02 & wyk03：配置环境变量
vim /etc/profile
----------------
export CONFLUENT_HOME=/opt/app/confluent-5.5.1
export PATH=$PATH:$CONFLUENT_HOME/bin
----------------

3. wyk02 & wyk03：刷新环境变量
source /etc/profile

 9. wyk02 & wyk03：修改配置文件中的ID

# wyk02: 修改kafka和 control center中的id
vim $CONFLUENT_HOME/etc/kafka/server.properties
---------------------------------
#修改下面的参数，其他参数保持不变
broker.id=2

vim $CONFLUENT_HOME/etc/confluent-control-center/control-center-dev.properties
---------------------------------
#修改下面的参数，其他参数保持不变
confluent.controlcenter.id=2    # 每台confluent机器的ID不能有重复
confluent.controlcenter.ksql.ksqlDB.url=http://wyk02:8088  # 每台confluent机器配置各自的IP

-------------------------------------------------------

# wyk03: 修改kafka和 control center中的id
vim $CONFLUENT_HOME/etc/kafka/server.properties
---------------------------------
#修改下面的参数，其他参数保持不变
broker.id=3

vim $CONFLUENT_HOME/etc/confluent-control-center/control-center-dev.properties
---------------------------------
#修改下面的参数，其他参数保持不变
confluent.controlcenter.id=3    # 每台confluent机器的ID不能有重复
confluent.controlcenter.ksql.ksqlDB.url=http://wyk03:8088  # 每台confluent机器配置各自的IP

10. 在三台机器上分别启动下列服务：（xcall是我自己写的shell脚本，表示在三台机器同时执行命令）

# 1. 启动 zookeeper
xcall.sh '/opt/app/zookeeper/bin/zkServer.sh start'

# 2. 启动 kafka
xcall.sh '/opt/app/confluent-5.5.1/bin/kafka-server-start -daemon /opt/app/confluent-5.5.1/etc/kafka/server.properties' 

# 3. 启动 schema registry
xcall.sh '/opt/app/confluent-5.5.1/bin/schema-registry-start -daemon /opt/app/confluent-5.5.1/etc/schema-registry/schema-registry.properties'

# 4. 启动 kafka rest proxy
xcall.sh '/opt/app/confluent-5.5.1/bin/kafka-rest-start -daemon /opt/app/confluent-5.5.1/etc/kafka-rest/kafka-rest.properties'

# 5. 启动 confluent connect
xcall.sh '/opt/app/confluent-5.5.1/bin/connect-distributed -daemon /opt/app/confluent-5.5.1/etc/schema-registry/connect-avro-distributed.properties'

# 6. 启动 ksql
xcall.sh '/opt/app/confluent-5.5.1/bin/ksql-server-start -daemon /opt/app/confluent-5.5.1/etc/ksqldb/ksql-server.properties'

# 7. 启动 control center
xcall.sh '/opt/app/confluent-5.5.1/bin/control-center-start -daemon /opt/app/confluent-5.5.1/etc/confluent-control-center/control-center-dev.properties'

11. 启动成功的话，jps进程应该如下图

全部启动成功后，在浏览器中输入任意control center节点的ip:9021 即可进入管理界面：

尾巴

Confluent 推出的kafka connect, schema registry, ksql, rest proxy 让kafka变得更加好用和强大（目前apache kafka 也有kafka connect，但confluent提供了更多了connector），control center提供了web界面对集群进行管理和使用（试用期30天），极大的降低了开发运维成本。

希望本文对你有帮助，请点个赞鼓励一下作者吧~ 谢谢！

智能研发AI平台的数据加密：从传输到存储的安全方案（SSL_TLS+AES-256）
AI 原生应用开发的博客
07-28 1239
用户输入数据（如对话记录、图像、语音等隐私数据）；训练数据（标注好的结构化/非结构化数据，往往是企业核心资产）；模型资产（模型参数、权重文件、推理代码等知识产权）；元数据（训练日志、用户权限信息、API调用记录等）。这些数据一旦泄露、篡改或被窃取，不仅会导致用户隐私泄露、企业经济损失，更可能引发模型被复刻、AI服务被恶意利用等严重后果。数据安全是AI平台不可逾越的红线传输加密：确保数据在网络中（如用户端→平台、平台内服务间、平台→用户端）不被窃听或篡改；存储加密。
在Linux环境下部署confluent platform
KasumiMasami的博客
04-10 3890
1. confluent platform的简单介绍： confluent platform是一个可靠、高性能的流平台，提供组织和管理来自不同数据源数据的功能。（这个说法太正式，反正我是简单粗暴地把它当成kafka和一些扩展kafka功能的一套组件~） 2. confluent platform的部署流程： 废话不多说，直接开搞~ (1) 安装JDK（建议安装1.8的） 这个很简...
Kafka-Confluent平台
孟孟的博客
03-22 2628
Confluent 官网：https://docs.confluent.io/platform/current/platform.html Confluent是用来管理和组织不同数据源的流媒体平台，可以实时地把不同源和位置的数据集成到一个中心的事件流平台。并且很可靠、性能很高。 Confluent目前提供了社区版（免费）和商业版（收费）两个版本，社区版提供了Connectors、REST Proxy、KSQL、Schema-Registry等基础服务。商业版为企业提供了控制面板、负载均衡，跨中心数据备
confluent-kafka
喝醉酒的小白
09-02 1102
【代码】confluent-kafka。
基于Confluent Kafka部署Kafka Connect集群，Kafka Connect集群加载debezium插件
zhengzaifeidelushang的博客
06-21 3142
基于Confluent Kafka部署Kafka Connect集群，Kafka Connect集群加载debezium插件
Kafka Confluent安装部署
weixin_34261415的博客
08-16 3271
official Confluent Platform Quick Start ; Manual Install using ZIP and TAR Archives confluent的安装部署相对比较简单，confluent为我们提供了Confluent Platform,我们即可以快速启动整个confluent平台，也可以单独启动想要的组件。接下来我们详细介绍如何操作。 confluen...
kafka学习--confluent-platform
wjandy0211的博客
08-28 769
confluent-platform是由Apache Kafka的原始创建者创建事件流平台！confluent-platform重新定义为企业解决方案。作为事件的流数据支持解决大规模问题的全新方法。 特点： 关键任务可靠性 部署有信心 ：在卡夫卡专家搭建的平台上。 企业规模的流程： 在GBps吞吐量下提供低于25ms的延迟。 保护您的事件流平台: 具有企业级加密、认证和授权功能。 ...
Confluent Kafka Python客户端详解与应用
confluent-kafka-python正是为此目的而生，它不仅支持所有版本不低于v0.8的Kafka代理，还完全兼容Confluent Cloud（全托管Kafka服务）和Confluent Platform（企业版Kafka发行版），使得开发者可以在本地环境、私有云...
从Kafka版本迭代，一窥未来趋势
didi_cloud的博客
06-02 437
滴滴Kafka的使用规模应该算是在国内互联网领域里数一数二的企业，Kafka承载日增2PB的日志的流转和缓存，其下游要经受住100W + Producer同时写入数据，自身集群峰值可达 2000W/s，集群流量可达 30GB/s，集群中有2W+ topic、20+ cluster、单集群 370+ Broker，上游要对接3W+Consumer，最大数据消费可达600MB/s，面对这么大规模数据流转和分发虽然也会遇到因为Kafka磁盘IO热点导致的集群生产消费雪崩；或者因为Topic资源隔离差，流量突增、回
linux安装target服务
11-15
对于Kafka本身，通常使用`confluent-platform`套件，因为包含了Kafka、Zookeeper等工具： ```sh sudo apt-get install -y confluent-kafka-platform ``` 3. **启动服务**： 安装完成后，你可以通过命令启动...
13、IoT开发与机器学习优化实践
最新发布
pandas7gardener的博客
07-13 42
本文详细探讨了物联网（IoT）开发与机器学习优化的实践方法，涵盖了QnA Maker的操作与应用、微控制器（如ESP32和STM32）的使用、与Azure IoT Hub的集成、环境监测器的搭建、超参数调优、机器学习管道构建以及流式数据处理等内容。通过具体代码示例和操作流程，展示了如何在实际项目中结合物联网与机器学习技术，推动智能设备的发展。文章还展望了未来物联网技术的发展方向，并对关键技术进行了对比分析，为相关项目的实施提供了实用指导。
kafka学习 --- kafka confluent platform部署
wjandy0211的博客
08-29 585
Confluent Platform是一个流媒体平台，通过一个可靠的高性能系统，您可以组织和管理来自多个不同来源的数据。 Confluent提供了业界唯一的企业级事件流平台，为应用程序和数据基础设施提供了一个新的范例。使用Confluent平台，您可以将数据作为持续更新的事件流，而不是作为离散快照。 Confluent Platform通过将来自多个源和位置的数据集成到您公司的一个中央事件流媒...
confluent-kafka入门教程
编程随手记
04-15 1377
注意：建议为长时间处理应用程序设置 enable.auto.offset.store=false，然后在消息处理后显式存储偏移（使用 offsets_store（）），以确保在处理完成之前不会自动提交偏移。: 默认值为5ms, 在将消息发送前，等待生产者队列中的消息累积以构建消息批次（消息集）的毫秒级延迟。： 用于认证的SASL机制， 支持“GSSAPI, PLAIN, SCRAM-SHA-256, SCRAM-SHA-512, OAUTHBEARER”， 默认为“GSSAPI”此设置由高级消费者使用。
kafka消费者 confluent_kafka
叁木大数据
05-05 3300
python之kafka消费者——confluent-kafka一、版本二、需求概述 一、版本 kafka:2.5.0 python:3.6.1 confluent-kafka:1.5.0 confluent-avro:1.5.0 avro-python3:1.9.1 二、需求概述 前置条件：使用kafka connect 消费kafka 数据写入hive 表。 前端会有一个写入状态表，告诉我们什么时候写完，但是遇到问题是，我们会拉取该状态表然后会立马启动一个处理程序去处理hive表的数据。 ...
Kafka Confluent 简介
热门推荐
石权的博客
04-29 1万+
Apache Kafka 消息分发组件，数据采集后先入Kafka。 Schema Registry Schema管理服务，消息出入kafka、入hdfs时，给数据做序列化/反序列化处理。 Kafka Connect 提供kafka到其他存储的管道服务，此次焦点是从kafka到hdfs，并建立相关HIVE表。 Kafka Rest Proxy 提供kafka的Rest API服务。 Kafk
Confluent单机模式实现数据库实时更新同步
Black&White的专栏
11-14 1864
Confulent自带了kafka和zookeeper,这里直接使用自带的就可以，也可以不使用自带的，单独安装。环境是centos7，jdk8。 Confluent安装 下载Confluent Community版，下载链接为https://www.confluent.io/download/，解压到安装目录，可以添加环境变量也可以不添加。 添加的话在~/.bashrc文件中增加以下信息 ...
5、Confluent Platform安装配置和常用操作详细教程
STAR GAME
03-11 6734
方式一：通过官网下载tar包 下载地址：Get Started Free 方式二：通过命令行下载 wget -P ~/Downloads/kafka http://packages.confluent.io/archive/5.3/confluent-5.3.1-2.12.tar.gz 扩展知识： Linux系统中的wget是一个下载文件的工具，它用在命令行下。 默认文件下载在当前工作路径，可...
kafka套餐之confluent platform平台安装部署
qq_40097074的博客
08-02 1464
confluent platform平台包括kafka、zookeeper、kafka connect、ksql、control center等等，confluent的安装部署相对比较简单，confluent为我们提供了Confluent Platform,我们即可以快速启动整个confluent平台，也可以单独启动想要的组件。接下来我们详细介绍如何操作。 1）下载confluent platfo...
confluent-5.0.0搭建kafka集群环境(三实例)
dragonlicat的博客
04-05 1838
在这里插入代码片## 环境准备 部署软件包：confluent-oss-5.0.0-2.11.tar.gz 可视化界面：kafka-manager-2.0.0.2【CMAK-2.0.0.2】 部署目录 /appdata/ 服务器： 服务器 部署组件 dragonlicat zookeeper kafka schema-registry dragonlicat02 zookee...
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘，路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值