Flink在蔚来自动驾驶AO部门的运用

已于 2023-12-26 15:24:40 修改
阅读量2.9k 收藏 1
点赞数
分类专栏： # Flink # 自动驾驶 文章标签： 人工智能
于 2022-12-12 00:02:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lzhcoder/article/details/128279699
版权
本文介绍了蔚来在自动驾驶数据处理中使用Flink遇到的实际问题及解决方案，涉及文件解析、数据写入速度、MySQL维表接入、异常数据处理、HDFS小文件、数据流平衡、多线程安全和Elasticsearch延迟等挑战，以及数据采集的迭代和商业数据闭环的探讨。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

摘要：本文整理自蔚来资深数据开发工程师林志浩，在FFA行业案例专场的分享。本篇内容主要分为四个部分： 

1. 自动驾驶数据介绍

2. Flink的应用和实际问题

3. 数据采集的迭代和展望

4.  谈谈商业数据闭环

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Apache Flink 在蔚来汽车的应用
weixin_70923796的博客
07-13 218
主要内容包括：实时计算在蔚来的发展历程实时计算平台实时看板CDP实时数仓其他应用场景一、 实时计算在蔚来的发展历程18 年 5 月份左右，我们开始接触实时计算的概念，最初是用 Spark Streaming 做一些简单的流式计算数据的处理；19 年 9 月份我们引入了 Flink，通过命令行的方式进行提交，包括管理整个作业的生命周期；到了 21 年 1 月份，我们上线了实时计算平台 1.0，目前正在进行 2.0 版本的开发。二、实时计算平台在实时计算平台 1.0，我们是通过将代码进行编译，然后上传 jar
蔚来汽车的 Apache Flink 应用
VqhhMobile的博客
09-18 116
Apache Flink 在蔚来汽车中发挥着重要的作用，通过其强大的流处理和批处理功能，蔚来汽车能够高效地处理实时数据、实现复杂事件处理、进行数据分析和实时报表生成等任务。蔚来汽车作为一家领先的智能电动汽车制造商，利用 Apache Flink 提供的强大功能来处理实时数据和实现数据分析，以提高其智能驾驶和车联网系统的性能和效率。利用 Apache Flink 的流处理功能，可以将这些数据实时地进行清洗、过滤、聚合和转换，以支持实时监控、实时报警、实时反馈等功能。
flink详细介绍
weixin_30307267的博客
06-16 219
Flink是什么 Flink是一个分布式计算引擎 MapReduce Spark Storm 同时支持流计算和批处理 和Spark不同, Flink是使用流的思想做批, Spark是采用做批的思想做流 Flink的优势 和Hadoop相比, Flink使用内存进行计算, 速度明显更优 和同样使用内存的Spark相比, ...
Flink入门学习
.G();的博客
11-20 685
Flink入门Flink是什么：一、背景：二、为什么要用Flink三、应用场景四、原理：（这里也进行数据处理架构演变的总结）最开始：事务处理 联机事务处理OLTP将数据从业务数据库复制到数据仓库，再进行分析和查询有状态的流式处理更新：第二代流式处理 lambda架构五、Flink架构：六、Flink分布式运行:七、Flink主要特点:1.事件驱动:2.基于流的世界观3.分层API4.Flink其他特点：八、Flink基石：Flink强一致性原理——Chandy-Lamport算法 Flink是什么：
基于 Hologres+Flink 的曹操出行实时数仓建设
云布道师
01-24 1632
作为一家互联网出行平台，主要提供了网约车、顺风车、专车等一些出行服务。打车为其主要的一个业务场景。用户会在我们的平台中去进行下单，然后我们的系统会给司机进行派单，接到订单之后，进行履约服务。结束一次订单服务后，乘客会在平台做出支付。曹操出行业务痛点分析整个流程中这些数据会流转到我们的业务系统，主要会有营销、订单、派单、风控、支付、履约这些系统。这些系统的数据会进入到 RDS 数据库，流转到实时数仓中去做一个分析和处理。
Flink CDC的前世今生-设计思想解读
10-22
在Flink CDC的运用方面，例如在蔚来自动驾驶AO部门，Flink CDC通过处理数据库变化数据，支撑了复杂的实时数据流处理需求。 在源码层面，Flink CDC的设计与实现涉及到多个组件和层次，从连接器的初始化、任务分配到...
汽车之家基于 Flink 的实时计算平台 3.0 建设实践
huzechen的博客
03-12 353
摘要：本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括：应用场景预算资源管控Flink 伸缩容湖仓一体PyFl...
蔚来汽车自动驾驶部门招聘自动驾驶算法研发框架实习生
深度学习技术前沿
04-18 1059
来源：AI求职蔚来让⻋成为安全、⾃由的移动⽣活空间是我们的愿景；NIO Autonomous Driving 蔚来自动驾驶，从地图定位到感知算法，从底层系统到控制策略，拥有全栈⾃动驾驶技术能⼒；逐步实现⾼速、城区、泊⻋和换电场景的全覆盖，解放时间，减少事故，带来安全放松的点到点⾃动驾驶体验。自动驾驶算法研发框架实习生坐标：北京市中关村融科资讯中心岗位职责1. 打造面向自动...
Flink大数据计算的机遇与挑战
Flink China 社区博客
08-27 633
本文来自于王绍翾在2018年08月11日Flink China Meetup。 王绍翾，花名“大沙”，加州大学圣迭戈分校计算机工程的博士，Apache Flink Commiter。目前在阿里负责Flink平台以及生态的一些工作。 本文内容如下： 流计算核心技术   Flink是德国data Artisans创造的，早期Flink主要是做偏批计算的，但是Spark在批处理上已经有一定优势，...
基于Flink流处理的动态实时超大规模用户行为分析
weixin_33831673的博客
11-28 2022
作者 | 吴昊编辑 | VincentAI前线出品｜ ID：ai-frontAI 前线导语：“传统的用户行为分析系统通常以离线批处理模式根据既定规则对用户数据进行分析。规则相对简单，且更新规则需要重启系统。而在安全领域，许多安全场景要求能够 7/24 小时实时监测威胁、作出报警。因此我们需要一个高吞吐量的实时计算框架来满足对实时性的需求。在这里我们将介绍网络安全中基于流式计算框架 Flink 并搭...
flink安装以及运行自带wordcount示例（单机版，无hadoop环境）
日进一步
10-26 9245
1、下载安装包到/opt目录 2、解压安装包 tar zxf flink-1.6.1-bin-hadoop26-scala_2.11.tgz  3、启动flink cd /opt/flink-1.6.1/bin [root@localhost bin]# ./start-cluster.sh  Starting cluster. Starting standalonesession ...
【大模型:知识图谱】--3.py2neo连接图数据库neo4j
最新发布
我是个好人呀，????
06-03 950
本文介绍了Neo4j图数据库的安装与基本操作。主要内容包括：1) 使用py2neo连接Neo4j数据库；2) 通过Python实现节点创建、删除、属性修改等操作；3) 建立节点间关系的方法；4) 使用NodeMatcher和RelationshipMatcher进行节点和关系查询；5) 通过实例演示如何创建人物节点及其关系网络。文章还对比了Neo4j社区版和企业版的差异。全文提供了完整的代码示例，涵盖从连接到CRUD操作的完整流程。
当无人驾驶遇见无声天使，让AI司机与爱相伴“童”行
UISEE2031的博客
06-01 567
在中关村房山园内，驭势科技多款无人驾驶车辆整齐列队，没有普通汽车的轰鸣，这些AI司机用闪烁的灯光和显示着“无人驾驶”字样的屏幕迎接孩子们的到来。在AI的帮助下，TA们对于未来无人驾驶车的描述变成了一个个具象的画面，孩子们纷纷合影留念，想要定格心中梦想的种子。
3步在小米13手机跑DeepSeek R1
羊仔的博客
06-03 734
大家好！我是羊仔，专注AI工具、智能体、编程。
OpenCV CUDA模块直方图计算------在 GPU 上计算输入图像的直方图（histogram）函数histEven()
jndingxin的专栏
05-29 1430
该函数用于在 GPU 上计算输入图像的直方图（histogram）。它将像素值区间均匀划分为若干个 bin（桶），并统计每个 bin 中像素的数量。
大模型分布式训练笔记(基于accelerate+deepspeed分布式训练解决方案)
谢白羽
06-03 925
背景介绍海量的训练数据给大模型训练带来了海量的计算需求，主要体现在变大的模型对显存的依赖逐渐加剧单卡场景如何解决显存问题1 ）可训练参数量降低①参数高效微调--PEFT②prompt-Tuning、Prefix-Tuning、Lora等 2 ）参数精度降低①低精度模型训练--Bitsandbytes②半精度、INT8、NF4分布式训练简介指的是系统或计算任务被分布到多个独立的节点或计算资源上进行处理，而不是集中在单个节点或计算机上。
Sentiment analysis integrating LangGraph and large-scale conceptual models
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
05-31 1499
基础单元：句子/评论/文档（如图中4条手机评论）。扩展单元：实体（如“相机”、“电池”）。关系类型构建规则示例实体共现两节点提及相同实体评论A和B都讨论“电池”语义相似概念向量余弦相似度 > 阈值两条夸“拍照效果”的评论句法依赖基于依存解析的语法关系评论中“电池”修饰“续航”工具NetworkX或PyG（Python库）。
flink在springboot项目中的运用
04-01
要在 Spring Boot 项目中集成并使用 Apache Flink 实现流处理功能，可以按照以下方式构建环境和配置： #### 1. 添加依赖项 为了使 Spring Boot 能够与 Apache Flink 协同工作，需在项目的 `pom.xml` 文件中添加必要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据与算法架构提升之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值