大数据在车联网行业的实践与应用

最新推荐文章于 2024-04-29 01:06:14 发布

原创

最新推荐文章于 2024-04-29 01:06:14 发布 · 2.8k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #人工智能 #DatafunTalk

本文介绍了联友科技在车联网领域的实践，详细讲解了车联网平台的整体架构，包括云服务、车辆连接服务平台、应用服务平台和终端服务。数据接入部分涉及车辆和设备终端的数据采集，采用配置化数据接入解决不同车型数据采集需求。数据存储采用实时数仓和离线数仓，如Kafka、Redis、Hive和HDFS。数据应用主要分为用户运营和智能推荐，离线分析使用Kyligence支持固定报表，实时分析使用Doris进行轻量级join分析。在数据安全与合规方面，确保用户信息的合法采集和限时存储。

file

导读：联友科技是一家旨在提供在汽车行业全价值链解决方案的科技公司。公司以数字化、智能零部件以及智能网联为三大核心业务领域，涵盖研发/制造/营销等领域的信息化产品、系统运行维护服务、云服务、大数据分析服务、智能网联及数字化运营服务、车载智能部件及汽车设计等业务。本次分享会围绕以下四点展开：

车联网平台
数据存储
数据接入
数据应用

01 车联网平台

file

联友科技车联网整体架构由下往上分为四层，分别是云服务、车辆连接服务平台、应用服务平台以及终端服务。目前平台架构支持多品牌、多车系、多协议链接，具备高可用、安全合规，支持千万级车辆接入以及百万级并发。

云服务：支持私有云、混合云部署，支持同城双活和异地多活
车辆连接管理服务平台：负责车辆连接，包括终端网关（接入协议、数据源可配置）、网络通讯框架、数据存储以及处理中心
应用平台：提供统一的能力开放，包括核心框架能力、服务管理、API管理、用户管理等，在对外能力上包括内部系统能力整合、提供与车辆相关数据服务与业务服务
终端服务：提供个性化的服务以及数据埋点，支持到多终端、多协议应用设备的接入

在后续的部分我们主要针对车联网数据流在车联网平台架构中的实现展开介绍，承载这部分能力的模块叫做 BDP。

1. 车联网平台整体架构

file

架构由左往右在大概可以分为三个阶段：数据接入、数据存储、数据开放。

由车机和智能设备采集到数据会经过数据接入模块归集到数据消息队列，并最终落入到数据存储层（实时数仓+离线数仓）。数据在数仓中经过清洗之后，会形成规范化的主题数据，这类数据我们会统一放到数据集市层。为了满足到下游的数据获取和传统的数据可视化的需求，我们提供了统一开放的数据消费方式（JDBC/ODBC），支持下游BI需求。同时，对于数据集市中的数据，我们提供数据服务将数据按照数据主题封装，并通过服务网关向外提供数据查询的能力，为APP、H5、官网/官微、运营平台等提供规范的数据。