AutoMQ 产品动态 | 发布 1.1.0,兼容至 Apache Kafka 3.7,支持 Kaf

kafka-client 版本兼容问题 背景 最近遇到了 kafka server 和 kafka-client 的兼容性问题。研发环境用的 kafka 集群是 2.0.0,而程序使用的 kafka-client 版本是 0.10.1.1,发现生产消息报错。平台维护人员将 kafka 集群的消息格式修改成了 0.10.2 后,问题解决。遂记录下 kafka 版本兼容的问题。 消息格式 kafka 的消息格式有三种,详情参考 一文看懂Ka... 阅读详情

2024年05-06月动态

01

云原生 Kafka 内核

AutoMQ 发布 1.1.0 版本,兼容 Apache Kafka 到 3.7 版本。

AutoMQ 采用存算分离的思路重构 Apache Kafka,计算层 100% 保留 Kafka 代码,可以更好、更快地适配 Apache Kafka 新版本。经过代码 Review、Chaos 测试和 500+ E2E 长时间验证,本月 AutoMQ 升级至 1.1.0 版本,适配 Kafka 到 3.7 版本。企业客户选择 AutoMQ 1.1.0 版本(Kafka 3.7 版本),可以获得如下更新和优化:Kafka Broker, Controller, Producer, Consumer

  • KIP-881:消费者分区分配支持 Rack-aware,节省跨 AZ 流量费用(3.5.0)

  • KIP-887:增加 EnvVarConfigProvider 支持从环境变量加载配置(3.5.0)

  • KIP-900:kafka-storage.sh API 增加对 KRaft SCRAM 验证支持(3.5.0)

  • KIP-890:事务消息服务端防御,避免特殊场景下的事务悬挂问题(3.6.0 / 3.7.0)

  • KIP-797:IPv4/IPv6 支持绑定到相同端口(3.6.0)

  • KIP-863:CompletedFetch#parseRecord 内存拷贝优化(3.6.0)

  • KIP-868:KRaft 支持以事务模式提交一系列 Records(3.6.0)

  • KIP-714:新增多语言统一的客户端 Metrics,提供从服务端查询客户端 Metrics 的能力(3.7.0)

  • KIP-848:(Early Access)下一代消费者重平衡协议(3.7.0)

  • KIP-951:客户端分区 Leader 发现优化,降低发送/消费的时间(3.7.0)

  • KIP-580:客户端指数退避重试(3.7.0)

Kafka Streams

  • KIP-889:新增 Versioned State Stores 提升在乱序场景下的 join 准确性(3.5.0)

  • KIP-923:为流表 Join 添加宽限期提升乱序处理能力(3.6.0)

  • KIP-941:Range 查询上下界支持 null(3.6.0)

  • KIP-925:Kafka Streams 支持 Rack aware 任务分配(3.7.0)

  • KIP-954:扩展默认的 DSL 存储配置支持自定义类型(3.7.0)

  • KIP-968:Versioned State Stores 新增 IQ 支持(3.7.0)

  • Kafka Connect

  • KIP-710:MirrorMaker 2.0 支持分布式模式(3.5.0)

  • KIP-898:Connect 插件服务发现能力增强(3.6.0)

  • KIP-976:新增集群维度动态日志等级调节(3.7.0)

  • KIP-980:支持创建停止状态的 Connectors(3.7.0)

更多关于新版本的升级优化,请参考https://downloads.apache.org/kafka/3.7.0/RELEASE_NOTES.html。

支持阿里云 Regional ESSD,更低的多 AZ 故障 RTO。

阿里云作为国内领先的云厂商,6 月发布 Regional ESSD(区域级块存储)。AutoMQ 进一步发挥云存储的优势,在 1.1.0 版本宣布支持 Regional ESSD,为客户在多 AZ 容灾场景下提供更低的故障 RTO 。

关于 Regional ESSD 的使用最佳实践,可以参考文末链接,联系我们。

02 产品能力升级

支持 Kafka ACL,自由配置 ACL 策略实现细粒度访问授权。

ACL 功能支持用户对集群、Topic、Consumer Group 以及 Transaction ID 进行细粒度访问控制。AutoMQ 同时对 Kafka ACL 进行操作简化,方便企业客户快速根据生产、消费和管理等多种场景进行角色授权。

支持 on K8s 部署,企业客户基于 Helm Chart 一键即可部署 AutoMQ。

企业客户基于 K8s 部署应用成为主流,AutoMQ 将存储分离至对象存储服务,计算层完全无状态,天然适合部署到 K8s 上。本月上线的 1.1.0 版本支持企业客户基于 Helm Chart 一键部署 AutoMQ 集群,并可以快速扩展和缩容。

如需体验了解 AutoMQ on K8s 部署,欢迎通过文末链接联系我们,获取支持。

AutoMQ 升级全新 Cloudscape UI,用户自助操作体验再提升。

本月 AutoMQ 环境控制台界面全部升级至 Cloudscape UI,进一步规范了操作组件和通用流程,新增自描述的帮助说明、用户自助操作体验再提升。

关于我们

我们是来自 Apache RocketMQ 和 Linux LVS 项目的核心团队,曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。现在我们基于对象存储优先、存算分离、多云原生等技术理念,重新设计并实现了 Apache Kafka 和 Apache RocketMQ,带来高达 10 倍的成本优势和百倍的弹性效率提升。

🌟 GitHub 地址:https://github.com/AutoMQ/automq
💻 官网:https://www.automq.com

Flink与Kafka版本兼容性及使用指南 本文介绍了Flink与Kafka版本兼容性问题,并提供了一个简单的示例来演示如何在Flink作业中使用Kafka连接器。在实际应用中,确保选择合适的Flink和Kafka版本,并遵循官方文档中的版本兼容矩阵,可以确保系统的稳定性和可靠性。根据Flink社区的文档,Flink 1.13.x系列支持的Kafka版本为2.7.x至2.8.x。在使用Flink和Kafka时,需要确保所使用的Flink版本与Kafka版本兼容。因此,在选择Flink和Kafka版本时,应该在官方文档中查找相应的版本兼容矩阵。 阅读详情

相关推荐

医疗领域BGE-M3模型微调全流程:从数据准备到效果评估

本文详细介绍了医疗领域BGE-M3模型的微调全流程,从数据准备到效果评估。通过医疗数据微调,BGE-M3模型在临床问答、病历检索等场景中表现显著提升,能够准确理解医学术语之间的细微差别。文章还提供了实战练习代码和效果评估指标,帮助开发者快速掌握医疗文本嵌入模型的应用技巧。

weixin_29098367的博客 282

AutoMQ:云原生 Kafka 解决方案,降低10倍成本100%完美兼容

AutoMQ 重新设计了 Kafka 的架构,基于云的基础设施,将存储分离至对象存储,实现了 Apache Kafka100% 的兼容性。它不仅提供了10 倍的成本优势,还带来了百倍的弹性,极大地提升了扩展性和性能。与传统的 Kafka 对比,AutoMQ 通过创新的存算分离架构,减少了运维复杂度,并充分利用了云环境中的共享存储特性。官网:https://www.automq.com/zhAutoMQ 通过云原生的架构优化,显著提升了 Kafka 的弹性和性能,并大幅降低了成本。

jast 1675

Windows 11 24H2 外接显卡坞兼容性实测:3步解决USB设备失效

本文详细解析了Windows 11 24H2系统下外接显卡坞导致USB设备失效的问题,并提供了三步终极解决方案:驱动预解压与手动更新、电源管理设置调整、优化的设备连接顺序。通过雷电3接口的兼容性优化,帮助用户解决键盘鼠标卡死等常见问题,提升外接显卡坞的稳定性与性能。

weixin_31714129的博客 593

AutoMQ 携手阿里云共同发布新一代云原生 Kafka,帮助得物有效压缩 85% Kafka 云支出!

以成本换效率的上云方式需要高速发展的业务来支撑,在今天降本的大环境下,以云原生,甚至多云原生重新设计的云服务相较于「Cloud-Hosted」的云服务将在弹性、成本、容量、效率等各方面有数量级的优势,云托管(Cloud-Hosted)类型的云服务即将被淘汰。稳定性有其高大上的一面,也有需要埋头苦干的另一面,聪明人一起坚持做一件事情可能是得物稳定性的内涵,郝豪提到他在业务场景的治理上,告警规则的梳理上,持续做了 3 年,从 21 年到 23 年持续在投入,每一年都有不同的方向和目标。

AutoMQ的博客 2406

机器学习中正则化项L1和L2的直观理解

正则化(Regularization) 机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm,中文称作L1正则化和L2正则化,或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型,使用L1正则化的模型建叫做...

小平子的专栏 43万+

【学习记录】IIC驱动ICM42670+卡尔曼滤波+四元数姿态角解算

ICM42670陀螺仪可以使用iic驱动,单片机平台使用GD32f305VE。

liarsup的博客 8267

原理剖析:AutoMQ 如何实现分区持续重平衡

01 引言 在一个线上 Kafka 集群中,流量的波动、Topic 的创建和删除、Broker 的消亡和启动都随时可能发生,而这些变化可能导致流量在集群各个节点间分布不均,从而导致资源浪费、影响业务稳定。此时则需要主动将 Topic 的不同分区在各个节点间移动,以达到平衡流量和数据的目的。当前,Apache Kafka 仅提供了分区迁移工具,但具体的迁移计划则需要运维人员自行决定,而对于动...

gaoliang1719的专栏 268

python 爬取携程全国旅游景点信息-2024.4.13

携程网是中国领先的在线旅行服务公司,提供酒店预订、机票预订、旅游度假、商旅管理等服务。携程网上有大量的旅游景点和酒店信息,这些信息对于旅行者和旅游业者都有很大的价值。通过爬虫技术,我们可以从携程网上获取这些信息,并进行数据清洗、数据分析、数据可视化等操作,从而得到有用的洞察和建议。

britlee的博客 1万+

AutoMQ 1.1.0-RC0 重磅更新:内核升级到 Apache Kafka 3.7.0

AutoMQ 在 2024.02 正式发布了基于 Apache Kafka 3.4.0 的云原生重构版本 1.0.0,AutoMQ 1.0.0 版本相比原版提供了 Serverless、自动负载均衡、秒级分区迁移和 All in 对象存储能力,让 Kafka 用户能充分利用云的弹性能力和廉价存储,实现十倍成本优势。ꔷ KIP-797:IPv4/IPv6 支持绑定到相同端口(3.6.0)ꔷ KIP-863:CompletedFetch#parseRecord 内存拷贝优化(3.6.0)

AutoMQ的博客 920

《多模态融合改进》支持目标检测、目标分割、OBB、姿态估计,配置教程

本文以为例,讲解如何配置,支持替换专栏里所有的改进方式。

Limiiiing的博客 801

【硬件的单元测试 UT 3】PCIe 3.0及信号完整性测试方法

PCIe标准自从推出以来,1代和2代标准已经在PC和Server上逐渐普及,用于满足高速显卡、高速存储设备对于高速数据传输的要求。出于支持更高总线数据吞吐率的目的,PCI-SIG组织在2010年制定了PCIe 3.0,即PCIe 3代的规范,数据速率达到8Gbps。

qq_43416206的博客 1415

AutoMQ 如何实现没有写性能劣化的极致冷读效率

Apache Kafka 一直以来都以极致的吞吐能力受到广大开发者和使用者的喜爱。AutoMQ[1] 在保证与 Apache Kafka 100% 兼容并且提供极致弹性和降本能力的基础上,不仅做到了相比Kafka更加极致的吞吐能力,同时还解决了Kafka冷读时,写吞吐性能劣化的问题。接下来,本文将从追赶读的实现来说明 AutoMQ 如何做到单机 1K 分区并发追尾读达到 1GB/s 的极致吞吐能力,并且在追赶读过程中避免发送流量的性能劣化。

AutoMQ的博客 1212

面试提问:数据开发中如何通过指标拆解来指导SQL编写?(附拆解模板)

摘要:指标拆解是一种高效的数据分析方法,通过将复杂业务指标分解为可执行的原子指标,指导SQL查询的编写。核心步骤包括:明确指标定义、拆解原子指标、定位数据源、确定分组维度、构建中间表。文章提供了指标拆解模板和实际案例(如用户留存率计算),并总结了拆解带来的5大好处:逻辑清晰、易于调试、可复用、降低错误率、便于协作。最后强调"一定义、二拆解、三定位、四分步、五合并"的口诀,适用于数仓开发、BI报表等场景。

石榴姐yyds 267

AutoMQ 集成 Debezium

在现代企业中,数据处理需求的不断增长使得实时监控和响应数据库变化变得尤为重要。无论是电商平台的订单处理、库存管理,还是金融系统的交易监控,都需要对数据库中的变化进行实时捕捉和处理。这不仅能提高系统响应速度,还能在数据发生变化时及时采取相应的业务操作。为了实现这一目标,本文将介绍如何使用 Debezium [1] 监测 MySQL 数据库的变化,并将这些变化事件发送到 AutoMQ [2] 中。AutoMQ 作为一种高效、低成本的流处理系统,具有高弹性和高可用性,是企业实时数据处理的理想选择。

AutoMQ的博客 1100

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

海外开发者为 AutoMQ 写的精品介绍,太干了!

在 KRaft 模式下的每个 broker 都保留了元数据的本地副本,而控制器群的领导者负责管理更新并将其复制到所有的 brokers,这大大降低了操作的复杂性和可能的故障点。AutoMQ 的工程师们开始思考:“是否存在一种方法,可以将所有的 Kafka 数据存储在对象存储中,同时还能保持像在本地硬盘上一样的高性能?传统的 Kafka 依赖于独立的 ZooKeeper 服务器来进行集群元数据的管理,但是 KRaft 模式消除了对 ZooKeeper 的依赖,简化了 Kafka 的运行并提升了其弹性。

AutoMQ的博客 1095

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

原理剖析:AutoMQ 如何基于裸设备实现高性能的 WAL

Delta WAL 在 AutoMQ 中的主要职责是作为持久化写入缓冲区,配合 Log Cache 将写入的数据以 WAL 的形式在云盘上做高效的持久化。在云盘上持久化成功后才会返回客户端成功。而数据的读取则均会从内存中读取并返回客户端。AutoMQ S3Stream 设计了冷热隔离的缓存 Log Cache(缓存新写入数据)和 Block Cache(缓存从对象存储中拉取的数据)。Log Cache 中的数据在 WAL 的数据没有上传到对象存储之前在内存中不会失效。

AutoMQ的博客 1348

AutoMQ多协议支持:MQTT、AMQP协议适配器开发

随着物联网(IoT)和企业级消息通信需求的增长,单一消息协议已无法满足多样化场景。AutoMQ作为云原生消息队列,通过协议适配器架构支持多协议接入,本文将详细介绍MQTT(消息队列遥测传输)和AMQP(高级消息队列协议)适配器的开发实践,帮助开发者快速扩展AutoMQ的协议兼容性。 ## 协议适配器架构设计 AutoMQ的多协议支持基于Kafka Connect框架实现,通过源连接器(Sour...

gitblog_00758的博客 543

重磅!AutoMQ 品牌全新升级

2024 年伊始,AutoMQ 作为一家专业的消息队列和流存储软件服务供应商,正式发布全新的 logo 和官网与大家见面!一直以来,我们致力于引领消息和流存储走向云原生时代!希望通过这次品牌升级,不断创新,为大家提供更先进的产品和服务!新 logo 以"M"字母为核心设计元素,融合"A"字母,不仅象征着 AutoMQ 的名字,更代表了我们对核心业务和理念的坚持。

AutoMQ的博客 990

AutoMQ 如何实现分区持续重平衡?

在一个线上 Kafka 集群中,流量的波动、Topic 的创建和删除、Broker 的消亡和启动都随时可能发生,而这些变化可能导致流量在集群各个节点间分布不均,从而导致资源浪费、影响业务稳定。此时则需要主动将 Topic 的不同分区在各个节点间移动,以达到平衡流量和数据的目的。

AutoMQ的博客 1353

AutoMQ 开源可观测性方案:夜莺 Flashcat

然而,随着集群规模的扩大和业务复杂性的增加,确保 AutoMQ 集群的稳定性、高可用性和性能优化变得尤为重要。通过使用夜莺监控系统,企业可以实时掌握 AutoMQ 集群的运行状态,及时发现和解决潜在问题,优化系统性能,确保业务的连续性和稳定性。创建完告警后,让我们来模拟高并发的消息处理场景:短时间内总共2500000条消息被发送到 AutoMQ 节点,我采用的方式是通过 Kafka SDK 的方式进行消息发送,一次共 50 个 Topic ,给每个 Topic 发送 500 条消息,共 100 次。

AutoMQ的博客 848

开源布道 共创生态——2024 AutoMQ 布道师计划启动!

AutoMQ 布道师在 AutoMQ 社区中扮演着至关重要的角色,他们是 AutoMQ 社区的积极贡献者,是高效数据处理和流存储的倡导者,也是对云原生技术充满热忱的探索者。他们运用自己的专业能力,通过创作深度内容和社区互动,分享对 AutoMQ 产品的技术洞察与个人见解,将 AutoMQ 的产品优势和实用技巧传递给更广泛的用户群体,与 AutoMQ 一同成长。如果你也认同我们的产品和理念,那么欢迎你加入 AutoMQ 布道师的行列,和我们一起探索云原生技术的潜能,创造更开放、更多元、更具活力的开源生态。

AutoMQ的博客 1215

AutoMQ:云原生Kafka的革命性替代方案

你是否正面临Kafka集群扩展困难、跨可用区流量成本高昂、存储容量受限等痛点?AutoMQ作为一款云原生的Kafka分支,通过将存储与计算分离并迁移至S3或兼容S3的对象存储,实现了10倍成本优化、秒级弹性扩展和毫秒级延迟,彻底改变了传统Kafka的运维模式。本文将从核心优势、架构解析、快速部署和实际应用场景四个维度,带你全面了解这款革命性的消息队列解决方案。 ## 核心优势:重新定义云原生消息

gitblog_00068的博客 940

Kafka 痛点专题|AutoMQ 如何解决 Kafka 冷读副作用

本文着重剖析了 Kafka 在冷读时产生问题的原理,以及 AutoMQ 的解法。下一篇 《Kafka 痛点专题》我们将探讨 Kafka 痛点中的 No.1 ,即弹性,敬请期待。END关于我们我们来自 Apache RocketMQ 和 Linux LVS 项目的核心团队,曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。

AutoMQ的博客 1167

AutoMQ 自动化持续测试平台技术内幕

再来看下 AbstractTask 的其他方法可以发现它继承了 Runnable 接口,通过重写 run 方法来依次执行 prepare、warmup、workload、cleanup 四个生命周期,这样就可以将 Task 交给一个线程来执行Controller 启动时会创建一个任务循环,根据用户需要创建出对应的 Task 对象后调用 start 方法来启动一个新线程运行该任务,然后 Controller 会调用 join 方法等待 Task 的生命周期结束,再继续运行下一个任务。

AutoMQ的博客 1356
上一篇: 基于Netty的自研流系统缓存实现挑战: 内存碎片与OOM困境
下一篇: AutoMQ 中的元数据管理
AutoMQ
博客等级 码龄3年 1206粉丝 157原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值