吉利汽车采用 EMQX 与AutoMQ联合方案构建公私有云一体化的车联网核心架构

最新推荐文章于 2025-04-11 11:23:20 发布

AutoMQ

最新推荐文章于 2025-04-11 11:23:20 发布

阅读量1k

点赞数 26

文章标签：汽车架构云计算云原生

本文链接：https://blog.youkuaiyun.com/AutoMQ/article/details/147050005

版权

吉利汽车集团数字化基础架构总工程师洪旅杭

关于吉利汽车

吉利汽车集团在中国上海、宁波、以及海外等地建有造型设计和工程研发中心，研发实力雄厚。在中国、马来西亚建有世界一流的现代化整车和动力总成制造工厂，拥有各类销售网点超过 1400 多家，产品销售及服务网络遍布世界各地。

秉承“人本、创新、卓越”的价值观，吉利汽车集团将“创造超越期待的出行体验”作为使命，致力成为最具竞争力和受人尊敬的中国汽车品牌。

EMQX 与 AutoMQ 在吉利汽车车联网混合云架构中的应用

随着整个汽车出行领域智能化和网联化的发展，用户驾乘体验对于乘用车来说至关重要，车机作为目前车内智能化网联化的代表，是“人-车-云”之间交互的窗口。通过车机和车企网联平台的连接，车企能够实现实时获取车辆数据和车主使用情况，对车辆和车主进行精细化管理和维护提供个性化运营关怀，同时联动手机APP更能为车主提供寻车定位、个人兴趣点推送等优质的服务应用。各个汽车制造厂商正逐步构建起以“数据驱动，服务导向”为核心的车联网平台系统。

构建汽车网联平台通常面临着以下挑战：

汽车保有量不断增长，如何支持海量车机并发连接
上下行多种业务数据，如何支持高并发消息吞吐
如何确保安全连接保障数据安全
车辆所处网络环境复杂，如何保证消息实时性与可靠性
业务侧对数据需求不同，如何实现灵活数据分流、存储
车辆离线状态时，如何保证消息触达
建设成本高昂，长期运维困难

为了应对这些挑战，吉利汽车的车联网系统采用混合云架构构建。其中汽车远程服务平台（Telematics Service Platform，TSP）位于公有云环境，采用EMQX 基于以 MQTT 协议的企业级数据接入平台服务，为车联网场景提供连接和数据解决方案。EMQX 的高性能、高可靠、可伸缩性设计，能够可靠地实时移动和处理车联网数据，帮助用户解决链接和数据基础设施层面的挑战，开发团队可专注上层应用的开发。

TSP 上报的数据通过 AutoMQ 传输至吉利大数据平台（简称：GDMP）。GDMP 具备数据采集、低代码开发、任务调度、数据地图、质量监控、数据服务等能力，是吉利汽车大数据基座与数据开发治理平台，承载了研、产、供、销、服全链路业务线。

在汽车电动化、智能化、网联化、共享化发展潮流下，车联网数据年度以 PB 级增长，业务场景覆盖面越来越广。Kafka 作为企业车联网数据的核心数据基础设施，汽车业务快速的发展对 Kafka 的弹性能力、成本都提出了更高的要求。AutoMQ 作为新一代的 Kafka 完美解决了吉利汽车当前最为关切的 Kafka 扩缩容问题，保障了车联网核心系统的正常运行。

解决方案

数据上报：汽车的终端设备会将车联网所需的核心数据通过 MQTT 消息发往云端的 EMQX 集群用于 TSP 应用。TSP 将汽车与车企提供的车联网服务能力结合起来，为车主提供救援、娱乐、救援、自动驾驶、固件升级等众多服务能力。在吉利汽车公有云上，会部署一个 AutoMQ 集群，用于承接和分发来自公有云上车联网TSP应用的数据。 AutoMQ 会作为车联网数据上报的核心数据总线，提供强大的吞吐、可靠的持久化存储和读写性能。

TSP: TSP（Telematics Service Provider）汽车远程服务提供商。在Telematics产业链居于核心地位，上接汽车、车载设备制造商、网络运营商，下接内容提供商。Telematics服务集合了位置服务、Gis服务和通信服务等现代计算机技术，为车主和个人提供强大的服务：导航、娱乐、资讯、安防、SNS、远程保养等。

数据流入GDMP的AutoMQ集群：公有云上TSP的数据会进一步通过专线流入吉利私有云大数据平台GDMP中的AutoMQ集群。该 AutoMQ 集群中 Topic 的数据包含来自极氪汽车、领克汽车、吉利汽车等吉利集团旗下不同汽车品牌的车联网数据，例如车辆数据、驾驶信息、GB/T32960国标规定的车联网数据等。这些关键的车联网数据会被下游的 Flink、Spark 以及 Kafka 消费者读取和处理。数据最终会写入数据湖，应用在吉利汽车的BI、数据分析和报表等场景。

用户价值

吉利汽车旗下拥有众多汽车品牌，近些年来随着各品牌业务的强劲发展，车联网的数据量也日益膨胀。通过采用EMQX与AutoMQ联合方案，吉利汽车得以从容解决车联网平台建设的种种技术难题。

通过使用 EMQX 集群，吉利汽车实现了以下 TSP 建设目标：

（1）整体架构：分布式、高可用

由于数据保护的需要，车企车联网平台多采用私有化部署，EMQX集群和用户业务系统一同部署在IDC或公有云环境中。通过负载均衡与 EMQX 分布式集群部署，可以实现百万级别的车机连接和数据吞吐能力，为上层业务应用提供坚实接入基础。

（2）车机连接：高并发、高安全

车机通过蜂窝网络物理链路、MQTT协议接入EMQX，EMQX分布式高可用架构支持百万级并发连接。连接安全方面，EMQX支持TLS安全协议，车机可以通过单向、双向TLS认证接入以及与 PKI/CA 系统对接适配一机一密的认证方案。另外，EMQX能够提供连接状态实时感知，

（3）数据传输：多保障、高吞吐

依靠MQTT及EMQX 提供的心跳监测、会话保持、QoS 等级等多重保障机制，即使车辆因为网络原因断开连接，相应的消息传递仍能在重连后恢复，实现在复杂的网络环境下实时、安全、可靠的车机消息通信。
基于订阅、发布模式以及EMQX海量MQTT主题、百万级TPS消息吞吐能力，EMQX能够支持在每个车机与平台连接内建立多个不同的逻辑隔离的MQTT主题，支撑上下行不同业务数据传输。为了实现等车辆状态感知监控、在线寻车等业务场景，车机实时上报车辆的位置、续航状态等信息；为了实现用户兴趣点下发、关怀消息下发、运营消息下发等场景，云端车联网平台向车机推送相应的指令或业务消息。
针对像用户兴趣点推送、养护关怀消息、运营消息等从云端下发到车机端的场景，平台往往是针对车型等批量下发。但是下发时部分车辆可能处于掉线或熄火离线状态，EMQX的离线下发功能可以结合数据库落盘缓存数据，在基础接入层确保车机上线后能够及时获取到云端下发的消息。

（4）消息及事件的处理与集成：

通过内置的规则引擎，可以将车机上报数据消息以及车机连接或断连、消息送达确认等事件，进行预处理后桥接集成到相应的数据系统。例如将海量车机上行数据，经过编解码等预处理后，桥接到Kafka等消息队列缓冲，后台应用服务从容获取数据进行业务分析应用；将车机连接、断开连接等事件信息存储到数据库中，用于后续车辆上下线情况分析等。灵活的数据预处理及集成能力，可以让上层业务应用更专注于应用的开发。

通过使用 AutoMQ 集群，吉利汽车解决了大数据平台上一直面临的 Kafka 成本与运维难题：

（1）零运维极速扩缩容

AutoMQ 的极速扩容得益于其创新的流存储架构。由于将数据持久性卸载至云存储，AutoMQ内部不像 Kafka 一样需要配置多副本，因为云存储本身内部已经有多副本并且提供了很高的持久性。这除了是对成本的节约以外，更重要的一点在于其在扩缩容的时候无需像 Kafka 一样进行分区数据的复制，因此可以提供秒级的分区迁移能力。此外，其内置持续运行的重平衡组件可以保证新加入的节点自动在保证集群利用率最优的前提下完成安全可靠地引流。因此，整个极速扩容无需人工干预，完全自动化。这与过去运维 Kafka 的体验形成了天壤之别。

（2）无需容量评估，降低运维成本

Kafka 的成本不仅仅体现在其IaaS资源的消耗，还有很大一部分比重在于组织上人力的投入。AutoMQ 本身基于 S3 提供了无限容量的流存储能力，计算和存储完全解耦，这意味着吉利汽车再也不需要担心设置较长的保留时间引起的存储空间不足问题。如果集群需要承载更大的吞吐需要扩容，AutoMQ 可以在非常短的时间自动化地完成扩缩容，因此吉利汽车无需像过去一样先要准备预案、协调上下游应用、制定迁移计划并在业务低峰时期进行扩容、迁移和引流。这将 Kafka 运维团队彻底从复杂、高风险的扩缩容运维、容量评估等工作中解放出来，从而可以执行具有更大价值的运维任务。

（3）100% 的 Kafka 兼容性

AutoMQ 对 Apache Kafka 的完全兼容是吉利选型的关键原因。这意味着吉利无需对已有围绕Kafka建设的所有应用、工具甚至Client端的配置做任何改造，即可完成迁移。未来，吉利汽车也仍然可以利用 Kafka 强大的生态进一步去改进和迭代自身的数据基础设施。