安装kafka rest proxy - 使得我们能通过http访问kafka

最新推荐文章于 2025-07-12 22:13:57 发布
原创 最新推荐文章于 2025-07-12 22:13:57 发布 · 1.7w 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rest #http #kafka

本文介绍如何安装Kafka REST Proxy，以便通过HTTP访问Kafka集群，特别是对于那些不支持Kafka原生协议的PHP等语言，提供便利。REST Proxy提供了与Kafka交互的RESTful接口，简化了消息生产和消费、集群状态查看及管理任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

安装kafka rest proxy - 使得我们能通过http访问kafka，这对于那些没用对应kafka客户端的语言尤其有用，比如php。


The Kafka REST Proxy provides a RESTful interface to a Kafka cluster. It makes it easy to produce and consume messages, view the state of the cluster, and perform administrative actions without using the native Kafka protocol or clients. Examples of use cases include reporting data to Kafka from any frontend app built in any language, ingesting messages into a stream processing framework that doesn’t yet support Kafka, and scripting administrative actions.


对应kafka0.9版本

安装方法1：

wget http://packages.confluent.io/archive/2.0/confluent-2.0.1-2.11.7.zip
unzip confluent-2.0.1-2.11.7.zip
cd confluent-2.0.1

vi etc/schema-registry/schema-registry.properties 修改其中的kafka的zookeeper路径（同kafka配置文件中的zookeeper路径）  可以用port设置端口
port=8081 schema-registry的端口，后面会用到
kafkastore.connection.url=localhost:2181/kafka   kafka的zookeeper路径（同kafka配置文件中的zookeeper路径，包括/chroot）
kafkastore.topic=_schemas   使用默认即可
debug=false




./bin/schema-registry-start etc/schema-registry/schema-registry.properties启动注册节点


vi etc/kafka-rest/kafka-rest.properties 可以用port设置端口
port=8082 rest端口，通过此端口访问kafka的功能，如发送消息等
id=kafka-rest-test-server
schema.registry.url=http://localhost:8081  schema-registry的ip:端口
zookeeper.connect=localhost:2181/kafka  kafka的zookeeper路径（同kafka配置文件中的zookeeper路径，包括/chroot）




./bin/kafka-rest-start etc/kafka-rest/kafka-rest.properties启动rest服务器


安装方法2

配置文件修改参看安装方法1

rpm --import http://packages.confluent.io/rpm/2.0/archive.key
vi /etc/yum.repos.d/confluent2.0.repo
[confluent-2.0]
name=Confluent repository for 2.0.x packages
baseurl=http://packages.confluent.io/rpm/2.0
gpgcheck=1
gpgkey=http://packages.confluent.io/rpm/2.0/archive.key
enabled=1




yum install confluent-common-2.0.1
yum install confluent-rest-utils-2.0.1
yum install confluent-kafka-rest-2.0.1
yum install confluent-schema-registry-2.0.1
vi /etc/schema-registry/schema-registry.properties
vi /etc/kafka-rest/kafka-rest.properties
schema-registry-start /etc/schema-registry/schema-registry.properties
kafka-rest-start /etc/kafka-rest/kafka-rest.properties





对应kafka0.8版本

安装方法1：

wget http://packages.confluent.io/archive/1.0/confluent-1.0.1-2.10.4.zip
unzip confluent-1.0.1-2.10.4.zip
cd confluent-1.0.1

vi etc/schema-registry/schema-registry.properties 修改其中的kafka的zookeeper路径（同kafka配置文件中的zookeeper路径）  可以用port设置端口
port=8081 schema-registry的端口，后面会用到
kafkastore.connection.url=localhost:2181/kafka   kafka的zookeeper路径（同kafka配置文件中的zookeeper路径，包括/chroot）
kafkastore.topic=_schemas   使用默认即可
debug=false





./bin/schema-registry-start etc/schema-registry/schema-registry.properties启动注册节点


vi etc/kafka-rest/kafka-rest.properties 可以用port设置端口
port=8082 rest端口，通过此端口访问kafka的功能，如发送消息等
id=kafka-rest-test-server
schema.registry.url=http://localhost:8081  schema-registry的ip:端口
zookeeper.connect=localhost:2181/kafka  kafka的zookeeper路径（同kafka配置文件中的zookeeper路径，包括/chroot）





./bin/kafka-rest-start etc/kafka-rest/kafka-rest.properties启动rest服务器






安装方法2

配置文件修改参看安装方法1

rpm --import http://packages.confluent.io/rpm/1.0/archive.key
vi /etc/yum.repos.d/confluent1.0.repo
[confluent-1.0]
name=Confluent repository for 1.0.x packages
baseurl=http://packages.confluent.io/rpm/1.0
gpgcheck=1
gpgkey=http://packages.confluent.io/rpm/1.0/archive.key
enabled=1






yum install confluent-common-1.0.1
yum install confluent-rest-utils-1.0.1
yum install confluent-kafka-rest-1.0.1
yum install confluent-schema-registry-1.0.1
vi /etc/schema-registry/schema-registry.properties
vi /etc/kafka-rest/kafka-rest.properties
schema-registry-start /etc/schema-registry/schema-registry.properties
kafka-rest-start /etc/kafka-rest/kafka-rest.properties




调用kafka功能

对于kafka 0.8，可参看文档：http://docs.confluent.io/1.0.1/kafka-rest/docs/intro.html
对于kafka 0.9，可参看文档：http://docs.confluent.io/2.0.0/kafka-rest/docs/intro.html


POST http://10.255.xx.xx:8082/topics/test HTTP/1.1
Host: 10.255.xx.xx:8082
Content-Type: application/vnd.kafka.binary.v1+json
Content-Length: 34


{"records":[{"value":"5Lit5paHIGhlbGxvIHdvcmQ="}]}

此方法将发送消息到kafka的名字叫“test”的topic。
发送的消息内容用Base64编码，放到json（格式为“{"records":[{"value":"消息内容的Base64编码后的字符串"}]}”）中的value字段






Debezium系列之：深入理解Kafka的消息代理
zhengzaifeidelushang的博客
09-10 664
Debezium系列之：深入理解Kafka的消息代理
kafka采用http协议 report 出 influxline 格式的metrics测量数据
zhixingheyi_tian的博客
05-26 1317
kafka 自带测量数据，为进行监控，将其测量数据采集并report出去，由于团队内部使用时序数据库 influxdb 作为测量数据库，所有吐出格式为 influxline， 样例代码如下,以飨读者 KafkaInfluxMetricsReporter /** * Licensed to the Apache Software Foundation (ASF) under one or...
kafka-rest-proxy:用go编写的独立Kafka Rest代理
05-01
卡夫卡休息代理 用go编写的独立Kafka rest代理。 任何实例都会在zookeeper上注册自己（注册名称空间是可配置的）并连接到所有kafka代理。 您可以将<URI>:<PORT>/topic/<TOPIC> uri上的内容作为邮件正文传递给kafka主题 配置 为了配置服务，需要制作一个config.toml文件并将其放在应用程序二进制文件附近 advertised_listener = " 127.0.0.1:8090 " # Optional ip and port that http proxy bind on (default: 0.0.0.0:8080) debug_port = " :6060 " # Optional debugging port (default: 6060) [ log ] format = " j
kafka-rest：用于Kafka的融合REST代理
02-05
Kafka REST代理 Kafka REST代理为Kafka集群提供了RESTful接口。 无需使用本机Kafka协议或客户端，即可轻松生成和使用消息，查看集群状态以及执行管理操作。 用例示例包括使用任何语言构建的任何前端应用程序向Kafka报告数据，将消息摄取到尚不支持Kafka的流处理框架中以及编写管理操作脚本。 安装 您可以作为一部分下载Kafka REST代理的预构建版本。 您可以阅读我们的完整和完整的 要从源代码安装，请遵循下面“开发”部分中的说明。 部署方式 REST代理包括内置的Jetty服务器。 建议使用包装脚本bin/kafka-rest-start和bin/kafka-
Kafka Schema Registry：数据契约管理的利器
最新发布
neweastsun的专栏
07-12 943
在现代数据架构中，Apache Kafka 已成为流式数据处理的核心组件。然而，随着数据管道的复杂性增加，如何确保生产者和消费者之间的数据格式兼容性成为一个关键挑战。Kafka Schema Registry 应运而生，它提供了一种集中化的 schema 管理机制，确保数据在传输过程中的一致性和可演化性。本文将介绍 Schema Registry 的背景、设计目标、应用场景，并通过示例说明其使用方式，最后探讨它的优势与价值。
【亲测免费】 探索 Kafka REST Proxy：无缝集成Kafka的利器
gitblog_00083的博客
03-23 963
探索 Kafka REST Proxy：无缝集成Kafka的利器 在大数据处理和实时流计算的世界中，Apache Kafka是一个不可或缺的角色，它提供高吞吐量、低延迟的消息传递服务。然而，对于不熟悉Java或直接与Kafka API交互的开发者而言，使用Kafka可能会有些许挑战。这就是项目的用武之地。 项目简介 Kafka REST Proxy是Confluent公司开发的一个开源组件，它为K...
kaproxy:Kafka 的 Restful HTTP 代理
05-31
卡普罗西 kaproxy 是 kafka 的静态 HTTP 代理，提供以下功能： 基本队列原语：PUBLISH、CONSUME 授权，用户使用令牌访问组和主题 生产/消费者指标 kaproxy SDK 建造 要构建服务器二进制文件： $ make # target file would be inside _build dir 设计 HTTP API
rest-proxy:用动态配置编写的简单 REST 反向代理
06-26
休息代理 Rest-proxy 是一个简单的系统，用于启用动态 REST 反向代理。 它设置一个公共服务器，客户端将连接到该服务器以请求临时重定向。 服务器部分： 启动 TCP 服务器并监听重定向请求 启动 HTTP 服务器并根据当前规则重定向调用 客户端部分： 连接到服务器以请求重定向。 保持连接打开。 通过连接从服务器接收重定向的 HTTP 调用，并将其重定向到其他本地可见的网络服务器。 主要用例是当您想要在不公开的机器上开发 REST 服务时。 使用客户端将生成一个随机标识符，对调用将被重定向到您的本地 REST 服务器。 这类似于ssh -R ，但在某些方面使用起来更简单： 它只在您启动服务器时需要 ssh 访问，之后不需要。 它可以从同一个服务器端口向多个客户端分派调用 教程 客户 要使用客户端，首先获取代码： go get github.com/Gysco
kafka-rest搭建
06-29
kafka-rest搭建相关资源，包括zookeeper\kafka\rest\nginx\keepalived及nginx详细配置
kafka-proxy:与Kafka群集的代理连接。 通过SOCKS代理，HTTP代理连接或连接到Kubernetes中运行的集群
05-13
卡夫卡代理 工作正在进行中 Kafka代理基于思想。 它允许服务连接到Kafka代理，而无需处理SASL / PLAIN身份验证和SSL证书。 通过使用本地套接字上的tcp套接字并代理到关联的Kafka代理的连接，它可以工作。 从代理收到的和响应中的主机和端口被本地副本替换。 对于发现的代理（未配置为boostrap服务器），本地侦听器在随机端口上启动。 可以禁用动态本地侦听器功能，并且可以提供外部服务器映射的其他列表。 代理可以终止TLS流量并使用SASL / PLAIN对用户进行身份验证。 凭证验证方法是可配置的，并使用基于RPC的golang插件系统。 代理还可以使用对其他Kafka服务器和客户端透明的可插拔方法来相互认证。 当前，已经实现了用于服务帐户的Google ID令牌，即代理客户端请求和发送服务帐户JWT，代理服务器接收并针对Google JWKS对其进行验证。
kafka-rest:用于Kafka的融合REST代理
04-30
您可以作为一部分下载Kafka REST Proxy的预构建版本。 您可以阅读我们的完整和完整的 要从源代码安装，请按照下面的“开发”部分中的说明进行操作。 部署方式 REST代理包括内置的Jetty服务器。 包装脚本bin/kafka-...
大数据开发之Kafka和Kafka Restful Proxy的入门教程
刻苦的樊同学
11-14 1335
消费者会定期将自己消费分区的offset提交给__consumer_offsets，key是consumerGroupId+topic+分区号，value就是当前offset的值，并且kafka会定期清理topic里的消息仅保留最新的那条数据，通过如下公式可以选出consumer消费的offset要提交到__consumer_offsets的哪个分区。新消费组中的消费者在启动以后，默认会从当前分区的最后⼀条消息的offset+1开始消费（消费新消息）。可以通过以下的设置，让新的消费者第⼀次从头开始消费。
kafka-proxy:使用中间件向Kafka的代理请求
04-30
卡夫卡代理 这是具有可插拔中间件支持的Kafka的第7层/应用程序级别代理。 您可以使用它来更改客户端请求，然后再单击客户端，更改从代理发送到客户端的响应，或者传递请求/响应，同时产生一些副作用，例如跟踪指标或日志。 执照 麻省理工学院 GitHub 推特 中
kafka-stack-docker-compose：docker撰写文件以创建一个完全可用的kafka堆栈
02-02
kafka-stack-docker-compose：docker撰写文件以创建一个完全可用的kafka堆栈
基于confluent的kafka和kafka-rest代理配置
zld_555的博客
05-21 5049
基于confluent的kafka和kafka-rest代理配置 一、组件及说明 （一）Confluent的组件简介 Confluent Platform 包括更多的工具和服务，使构建和管理数据流平台更加容易。 Confluent Control Center（闭源）。管理和监控Kafka最全面的GUI驱动系统。 Confluent Kafka Connectors（开源）。数据进出kafka，连...
KAFKA-Schema-Registry
qiuqianxin的博客
07-13 2671
KAFKA Schema Registry 对于Kafka Producer 和Kafka Consumer ， Kafka的schema Registry 都存储AVRO Schemas。 供里一个用于管理Avro架构的RestFul界面 许存储版本华模式的历史纪录 查KAFKA的架构兼容性 使用Avro Schema， 我们可以配置兼容性设置以支持kafka模式的发展 下图的schema是不需要发送的，只需要唯一的schema ID。 6。为什么需要schema Registry？ 消费者的架构于
Kafka REST Proxy for MapR Streams入门
最佳 Java 编程
06-06 241
介绍 MapR生态系统软件包2.0（MEP）随附了一些与MapR流有关的新功能： MapR Streams的Kafka REST代理为MapR Streams和Kafka集群提供RESTful接口，以使用和生成消息并执行管理操作。 Kafka Connect for MapR Streams是一个实用程序，用于在MapR Streams与Apache Kafka和其他存储系统之间流...
Confluent 安装 Kafka REST Proxy服务使用
pycrossover的博客
02-27 2432
背景： 公司由于业务需求想要通过http的方式往kafka发送消息，所以需要安装一个kafka的插件Confluent 实现。 1.下载安装 官网下载链接：https://www.confluent.io/download. 安装的前提是kafka和zookeeper有安装成功，能正常运行（网上很多教程，自行查找吧） 下载好tar包之后解压放在自己指定的目录下然后开始修改配置文件 解压后进入到c...
Kafka-RestProxy API 概览与使用示例
"这篇文档是关于Kafka REST Proxy的主要API的总结，主要目的是方便...Kafka REST Proxy提供了一种便捷的方式，通过RESTful API与Kafka进行交互，使得非Java的客户端或不熟悉Kafka协议的开发者也能轻松地使用Kafka服务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值