得物使用AutoMQ构建海量数据处理的新一代可观测性架构

引言

得物作为全球领先的潮流网购社区，日益增长的用户和数据带来了巨大的技术挑战。当前，得物的可观测性平台每天生成数PB级Trace数据和数万亿条Span记录，要求平台具备高效的实时处理能力和低成本的数据存储解决方案。

传统的存算一体架构将计算与存储资源绑定，随着数据规模的扩大，暴露出了以下问题：

• 扩展性受限：存算资源无法独立扩展，导致计算和存储的扩容必须同步，进而提升了成本。

• 资源利用率低：计算与存储资源无法按需动态调整，造成闲置资源浪费。

• 运维复杂性高：集群扩展和缩容涉及复杂的资源迁移，增加了运维难度。

为了有效解决这些问题，得物可观测性平台采用了存算分离架构，结合AutoMQ和Kafka以及ClickHouse存储技术，实现了高效的资源管理和性能优化。

Apache Kafka在大规模数据下的挑战

Apache Kafka处于得物观测业务的核心数据链路中

在得物的可观测性平台中，Apache Kafka被广泛用于数据收集、加工和分发。然而，随着业务数据量的不断增长，Kafka的架构暴露出以下问题：

• 存储成本高：Kafka的存储部分占据了大部分（计算与存储成本比例为1:3）云资源开销，为了控制成本，得物调整了Kafka的数据TTL和副本配置，但存储成本仍居高不下。

• 冷读效率低：冷读场景下，磁盘吞吐量常达到上限，导致性能瓶颈。

得物 Kafka 磁盘高危报警

• 运维复杂性高：随着集群规模的扩大，Kafka集群的扩缩容操作变得更加复杂，面临较高的运维风险。

这些问题源于Kafka原生架构的局限性，特别是其面向IDC环境的Shared-Nothing架构，难以充分发挥云计算时代对弹性和扩展性的要求。

为什么选择AutoMQ

AutoMQ云原生架构