AutoMQ 社区双周精选第五期（2024.01.01~2024.01.12）

最新推荐文章于 2025-12-04 16:02:16 发布
原创 最新推荐文章于 2025-12-04 16:02:16 发布 · 1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#云计算 #云原生 #Kafka #消息 #计算 #大数据 #AWS #AutoMQ #阿里云 #腾讯云 #GCP

本期概要

欢迎来到 2024 年的第一期双周精选，感谢每一位社区贡献者在过去一年中的陪伴，今年我们将继续携手探索云原生消息队列的更多可能性！
在过去的两周内，AutoMQ Kafka 最新更新包括 S3Object 新功能、StreamObject compaction 支持、数据压缩存储等，大幅提升了集群性能和存储效率。此外，引入了 7 * 24h Chaos 质量验证框架，确保 Kafka 集群在各种故障情况下的稳定性和自愈能力。

AutoMQ for Kafka 主干动态

集群支持 10w 分区 & 1 PB 存储规模

S3Object 新增DataBlockGroup 支持，DataBlockGroup 在 compact 的过程中可以通过 CopyPart 直接合并成更大的 DataBlockGroup。索引仅随 S3Object 的大小线性增长，1MB 索引块可以支持 28GB S3Object；
StreamObject compaction 支持根据 stream 的 start offset 删除过期数据。StreamObject compaction 合并上限提高到 10GB，无额外的存储放大开销。集群 1 PB 存储的 StreamObject 元数据规模预计不超过 70MB；
S3StreamSetObjectRecord 数据压缩存储，KRaft checkpoint 大小优化减少 50%；

https://github.com/AutoMQ/automq-for-kafka/issues/600

2C16G 支持 5K 分区 & 50MB 写入 & 150MB 消费 & 4.5K QPS

通过为读取链路增加追尾读预检查、last segment 读取快速路径、避免 Lambda 小对象创建、Metrics 内存优化。5K 分区 & 64MB 写入 & 192MB 消费场景下，CPU 从 92% 优化到 82%。

https://github.com/AutoMQ/automq-for-kafka/issues/621

Metrics指标JMX转OpenTelemetry

将 Kafka JMX 指标转换成 OpenTelemetry 上报，统一 Kafka 和 S3Stream 的 Metrics 采集方式，为后续在 Grafana 配置监控和报警提供数据源支持。

https://github.com/AutoMQ/automq-for-kafka/issues/666

More Things

Chaos 质量验证框架

AutoMQ Kafka 新增 7 * 24h Chaos 质量验证框架。Kafka 集群 7 * 24h 全天候运行，框架定期注入网络 10s 延迟、进程 kill -9、进程 pause 等故障，并且校验注入故障后的数据完整性、发送 & 消费 SLA 和故障自愈时间。

以上是第五期《双周精选》的内容，欢迎关注我们的公众号，我们会定期更新 AutoMQ 社区的进展。同时，也诚邀各位开源爱好者持续关注我们社区，跟我们一起构建云原生消息中间件！

END

关于我们

AutoMQ 是一家专业的消息队列和流存储软件服务供应商。AutoMQ 开源的 AutoMQ Kafka 和 AutoMQ RocketMQ 基于云对 Apache Kafka、Apache RocketMQ 消息引擎进行重新设计与实现，在充分利用云上的竞价实例、对象存储等服务的基础上，兑现了云设施的规模化红利，带来了下一代更稳定、高效的消息引擎。此外，AutoMQ 推出的 RocketMQ Copilot 专家系统也重新定义了 RocketMQ 消息运维的新范式，赋能消息运维人员更好的管理消息集群。 

🌟 GitHub 地址：https://github.com/AutoMQ/automq-for-kafka

💻 官网：https://www.automq.com

👀 B站：AutoMQ官方账号

🔍 视频号：AutoMQ 

👉 扫二维码加入我们的社区群

关注我们，一起学习更多云原生干货

AutoMQ 生态集成 MinIO
AutoMQ的博客
05-30 802
得益于 MinIO 对 S3 API 的完全兼容，即使在私有数据中心，你仍然可以部署 AutoMQ 集群来获得一个与 Kafka 完全兼容，但是具备更好成本效益、极致弹性、个位数毫秒延迟的流系统。将上一步生成的命令中的 --controller-list 和 --broker-list 替换为你的主机信息，具体来说，将它们替换为环境准备中提到的 3 台 CONTROLLER 和 2 台 BROKER 的 IP 地址，并且使用默认的 9092 和 9093 端口。在以下示例中，vdb 是未分区的裸块设备。
AutoMQ 生态集成 Kafdrop-ui
AutoMQ的博客
07-08 809
通过提供一个用户友好的界面，Kafdrop 大大简化了 Kafka 集群的监控和管理过程，使得用户无需依赖复杂的命令行工具就能快速获取集群的状态信息。将上一步生成的命令中的 --controller-list 和 --broker-list 替换为你的主机信息，具体来说，将它们替换为环境准备中提到的 3 台 CONTROLLER 和 2 台 BROKER 的 IP 地址，并且使用默认的 9092 和 9093 端口。对于 AutoMQ 新增的参数，将使用 AutoMQ 提供的默认值。
AutoMQ vs Kafka: 来自小红书的独立深度评测与对比
gaoliang1719的专栏
07-08 192
测试背景 当前小红书消息引擎团队与 AutoMQ 团队正在深度合作，共同推动社区建设，探索云原生消息引擎的前沿技术。本文基于 OpenMessaging 框架，对 AutoMQ 进行了全面测评。欢迎大家参与社区并分享测评体验。01测试结论本文主要测评云原生消息引擎 AutoMQ 和 Apache Kafka（3.4 版本）的性能对比。测试结论：实时读写：相同集群规模，AutoMQ 的极限读写吞吐是...
Java_AutoMQ是Kafka的云原生分支，它将存储分离到S3和EBS.zip
05-22
Java_AutoMQ是一个创新的项目，它是Apache Kafka的云原生分支，旨在提供更高效、更灵活的分布式消息传递解决方案。这个项目的核心理念是将存储层与计算层分离，允许用户将消息数据存储在Amazon S3和EBS（Elastic ...
干货推荐-2025 StarRocks 数仓技术实践PPT资料合集（36份）.zip
03-26
第三代指标平台的物化加速实践.pdf 聚水潭从选择StarRocks到大规模使用的思考和实践.pdf 阿里云 EMR-StarRocks在存算分离上的探索和实践.pdf 阿里云EMR Serverless StarRocks产品介绍及应用实践.pdf 阿里云EMR-...
Java_Apache RocketMQ 50的云原生实现.zip
05-22
5. **automq-for-rocketmq_main.zip**：这个文件可能是RocketMQ的一个自动化管理工具或示例代码，它可能包含了用于快速部署、管理和测试RocketMQ的脚本或应用。通过解压并查看`automq-for-rocketmq_main.zip`的内容...
【云计算】【Kubernetes】 ② K8S的架构、应用及源码解析 - Pod 生命周期管理与 CRI 集成详解
xiezhiyi007的专栏
11-30 911
本文深入剖析 Kubernetes 节点核心组件 kubelet 的架构与工作机制。kubelet 作为节点上的“操作系统内核”，通过事件驱动与 syncLoop 主循环协同管理 Pod 全生命周期。文章详解其关键模块——包括 Pod Manager、PLEG、Volume Manager、Container Manager 和 Status Manager，并结合生活化类比阐明各组件职责。重点解析 kubelet 如何通过 CRI（Container Runtime Interface）与 contain
从割裂到融合：基于 DevUI 与 MateChat 构建新一代云原生智能控制台
小二丶的博客
12-04 328
本文针对云原生控制台面临的性能瓶颈、AI助手体验割裂和主题定制成本高等问题，提出基于DevUI和MateChat的智能控制台解决方案。通过虚拟滚动、CSS变量主题系统和流式对话等优化，实现操作界面与AI助手的无缝融合。实践数据显示，该方案显著提升了表格渲染性能（FPS提升123%）、减少了包体积（下降22%）并简化了主题切换流程（耗时降低94%）。文章还分享了工程实践中的典型问题及解决方案，为构建高性能、高一致性的云原生控制台提供了可复用的技术路径。
openEuler 云原生进阶：K3s 轻量级 Kubernetes 集群实战
todoitbo的博客
12-03 868
openEuler 云原生进阶：K3s 轻量级 Kubernetes 集群实战
openEuler 云原生实战：Docker Compose 部署 Nextcloud 企业级私有云
todoitbo的博客
12-03 760
openEuler 云原生实战：Docker Compose 部署 Nextcloud 企业级私有云
openEuler 在 AI 与云原生场景下的性能评测与实践
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
12-03 3239
本文围绕 openEuler 25.09 在 AI 与云原生场景的性能展开评测，先介绍其面向数字基础设施、具备高可靠高性能及开放生态的定位，以及内核调度优化、多架构支持、云原生友好等性能亮点。接着详述测试环境（x86_64 架构、i7-1165G7 CPU 等）、系统安装优化步骤，通过 sysbench、fio 工具完成 CPU、内存、磁盘基准测试，还以 CPU 场景为例，基于 PyTorch 搭建 CNN 模型实现 AI 推理。
openEuler 云原生实战：使用 Docker Compose 快速部署企业应用
todoitbo的博客
12-03 588
openEuler 云原生实战：使用 Docker Compose 快速部署企业应用
实测 openEuler 生态适配与应用部署：多架构 + 云原生 + 数据库全场景落地指南
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
12-03 3609
作为开源操作系统领域的核心力量，openEuler凭借其灵活的架构支持、丰富的软件生态和企业级稳定性，已成为服务器、云原生及行业应用落地的优选方案。本文将从生态特性切入，通过“最小安装与验证”的实操步骤，结合云原生、数据库、开发工具等典型场景案例，全面测评openEuler的生态适配能力与部署便捷性，为ISV伙伴、硬件厂商及企业开发者提供可直接复用的实践参考。
深探 openEuler 云原生基石：iSula 与 Kata Containers 安全容器的极致评测与性能剖析
2301_80863610的博客
12-03 861
摘要：随着云原生技术席卷全球，容器已成为现代化应用交付的标准。然而，传统容器基于共享内核的架构所带来的安全隐患，始终是悬在多租户、高安全等级场景下的“达摩克利斯之剑”。openEuler，作为面向数字基础设施的开源操作系统，其核心组件 iSula 容器引擎，通过对 Kata Containers 等安全容器运行时的原生支持，为这一难题提供了优雅而强大的解决方案。
Nacos：云原生时代的服务与配置管理基石
小伙伴们全都Lucky！
12-03 429
Nacos作为云原生时代的服务治理平台，采用四层模块化架构设计，创新性地实现了AP/CP模式动态切换机制。其核心功能包括服务注册发现、动态配置管理和健康检查，支持多语言SDK、权重路由和环境隔离等高级特性。Nacos通过集群部署、性能优化和监控告警体系保障高可用性，并与SpringCloud、Kubernetes等生态深度集成。面对大规模集群性能瓶颈等挑战，Nacos提供了分片策略等解决方案，未来将持续向服务网格集成和智能化治理方向发展，成为连接微服务生态的关键基础设施。
云原生 APM 实战：Prometheus Operator+K8s 构建容器化微服务监控体系
最新发布
m0_72256543的博客
12-04 361
进入 Grafana → Dashboards → New dashboard → Add visualization；配置关联图表：图表 1：订单服务 Pod CPU 使用率与接口响应时间（双 Y 轴图）左 Y 轴（蓝色）：Pod CPU 使用率（指标：sum(rate(container_cpu_usage_seconds_total{namespace="order-namespace",pod=~"order-service-.*"}[5m])) by (pod)）；
从数据中心到边缘：基于 openEuler 24.03 LTS SP2 的 K3s 轻量化云原生实战评测
Zero_VPN的博客
12-04 416
通过在单机环境中部署K3s整个安装过程“一键成功”，K3s及其依赖的containerdcni等组件在上运行完美，无需任何额外补丁或繁琐配置。这得益于搭载的6.6内核对cgroup v2和内核网络特性的原生支持。系统启动后，K3s自身资源占用极低，与openEuler高效的内核调度结合，为资源受限场景提供了最大化的业务运行空间K3s自带的TraefikCoreDNS等核心服务均能稳定运行，证明了作为云原生底座的生态成熟度和高兼容性。其dnf源中提供的kubectl。
Entity Explorer 在云原生监控中的落地：USearch/SPL 查询应用
阿里巴巴云原生的博客
12-04 712
阿里云 Entity Explorer 正式发布：基于 UModel 的智能实体探索平台，实现亿级实体秒级检索、关系拓扑自动构建、详情页动态渲染，让可观测性从“数据堆砌”迈向“业务洞察”。
AI时代底层技术链：GPU、云原生与大模型的协同进化全解析
大牛直播SDK
12-03 624
在当今 AI 技术快速演进的背景下，GPU、云原生、大模型与人工智能之间的关系常被误解为孤立或替代，但它们实际上构成了一条从算力到智能的完整技术链。GPU 提供海量并行计算能力，是大模型训练与推理的物理基座；云原生通过容器化与智能调度，实现 GPU 集群的高效管理与弹性供给，使算力像水电一样便捷可用；大模型则基于 Transformer 架构，在海量数据与算力支撑下实现通用认知与智能涌现；而人工智能应用最终在产业层面创造真实价值。
automq
08-28
Automq 是一种消息队列技术，其设计旨在解决大规模数据传输和消息处理中的性能与可靠性问题。Automq 的核心目标是提供一个高吞吐量、低延迟、可扩展性强的消息中间件，适用于各种需要高效消息传递的场景。其技术原理和实现机制主要包括以下几个方面： 1. **分片机制**：Automq 采用了分片（Partition）机制来实现水平扩展。每个主题（Topic）可以被划分为多个分片，每个分片独立处理消息的生产和消费。这种机制不仅提高了系统的吞吐能力，还增强了系统的可扩展性。通过将数据分布到不同的分片中，Automq 能够有效地处理海量消息流[^1]。 2. **日志结构存储**：Automq 使用了日志结构的存储方式，类似于 Apache Kafka 的设计。消息被追加写入到日志文件中，这种方式可以最大化磁盘的 I/O 性能。同时，Automq 支持高效的读取操作，消费者可以直接从日志文件中读取消息，而不需要频繁的随机访问磁盘。 3. **分布式一致性**：为了确保消息的可靠性和一致性，Automq 引入了分布式一致性协议。它通常依赖于 Raft 或 Paxos 等一致性算法来保证多个副本之间的数据同步。通过这种方式，即使在节点故障的情况下，系统仍然能够保持数据的完整性和可用性。 4. **消费者组管理**：Automq 支持消费者组（Consumer Group）的概念，允许多个消费者实例组成一个组来共同消费消息。每个分片的消息只会被组内的一个消费者实例消费，从而实现了负载均衡和高可用性。消费者组还支持动态的成员加入和退出，适应不断变化的工作负载。 5. **流式处理集成**：Automq 可以与流式处理框架（如 Apache Flink 或 Apache Spark Streaming）集成，提供端到端的流数据处理解决方案。这种集成使得 Automq 不仅可以作为消息队列使用，还可以作为流式数据管道的一部分，支持实时数据分析和处理。 6. **自动化运维**：Automq 提供了丰富的监控和管理工具，支持自动化的运维操作。例如，它可以自动检测节点故障并进行故障转移，自动调整分片的分布以平衡负载，以及提供详细的性能指标用于监控和调优。 7. **多租户支持**：Automq 支持多租户架构，允许不同的业务线或团队共享同一个消息队列集群。通过资源隔离和配额管理，确保各个租户之间的资源使用不会互相干扰。 ### 示例代码：Automq 生产者和消费者 以下是一个简单的 Automq 生产者和消费者的示例代码，展示了如何使用 Automq 进行消息的生产和消费。 #### 生产者代码 ```java import org.apache.automq.sdk.Producer; import org.apache.utomq.sdk.Message; public class AutomqProducer { public static void main(String[] args) throws Exception { // 创建生产者实例 Producer producer = new Producer("broker1:9092", "my-topic"); // 发送消息 for (int i = 0; i < 100; i++) { Message message = new Message("Hello Automq - Message " + i); producer.send(message); } // 关闭生产者 producer.close(); } } ``` #### 消费者代码 ```java import org.apache.automq.sdk.Consumer; import org.apache.utomq.sdk.Message; public class AutomqConsumer { public static void main(String[] args) throws Exception { // 创建消费者实例 Consumer consumer = new Consumer("broker1:9092", "my-topic", "my-group"); // 订阅主题 consumer.subscribe(); // 消费消息 while (true) { Message message = consumer.poll(1000); if (message != null) { System.out.println("Received message: " + message.getValue()); } } } } ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值