7 月 13 日,AutoMQ 携手 GreptimeDB“新能源汽车数据基础设施” 主题 meetup 在上海圆满落幕。本次论坛多角度探讨如何通过创新的数据管理和存储架构,提升汽车系统的性能、安全性和可靠性,从而驱动行业的持续发展和创新,涵盖 AutoMQ 多模态共享存储架构、长城汽车多云多活架构的实践与探索、GreptimeDB 边云一体化数据库介绍、小红书深度解读 AutoMQ 云原生及多云容灾架构、车载嵌入式时序数据库的技术挑战和方案等议题。本次主题活动现场氛围热烈,吸引了众多技术爱好者积极参与,下面让我们一起回顾本次活动的精彩看点。

一、AutoMQ 多云原生再升级:多模态共享存储架构
AutoMQ CTO&联合创始人周新宇从 kafka 的生态位及面临的挑战出发,深入剖析了 AutoMQ 共享存储架构,多云的最佳实践,讲解了共享存储架构的技术优势,并对未来进行展望。
AutoMQ 共享存储架构
架构重构和存储分离:AutoMQ 重新设计了 Kafka 的架构,将存储分离到云存储(S3)上,通过 S3 Stream 实现,使计算层完全无状态。
存储选择和优势:提到了选择 EBS 和 S3 作为存储解决方案的考虑,EBS 用于低延迟高性能需求,S3 作为简单可靠的选择,适用于不那么高实时性要求的场景。
共享存储架构设计:结合了 WAL 和 S3 对象存储,确保了数据的持久性和高可靠性,提升了整体架构的弹性和稳定性。
自动化运维和优化:控制面设计 Auto scaling 和 AutoBalaning 组件,能够实现秒级扩缩容和实时流量平衡。
AutoMQ 最佳实践:阿里云、Azure、GCP 、AWS
在阿里云、Azure、GCP云上,推荐使用 Regional EBS ,因其成本性能 trade off 好,可跨 AZ多重挂载,故障时由其他 AZ 的 broker 恢复。
在 AWS 上,由于 AWS 没有 Regional EBS 形态,为实现多 AZ 的 AutoMQ 部署,采用同步双写两个 WAL 组合 EBS WAL 和 S3 Express WAL,避免自定义网络通道复制及高昂的复制流量成本。还有一种形态是完全选择 S3 WAL,价格精简,但延迟较

最低0.47元/天 解锁文章

被折叠的 条评论
为什么被折叠?



