当我们谈大模型和vla岗位的时候,究竟有哪些内容?(附岗位)

部署运行你感兴趣的模型镜像

点击下方卡片,关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

最近有小朋友去投大模型和vla相关的岗位,来咨询峰哥。询问两者有什么差异,vla和端到端有什么区别?这里也和大家做个分享。

首先,所有依赖大模型的方案,都可以叫大模型岗位,包括VLM、VLA这类。自驾领域经常采用qwen这类大模型做微调,适配自驾场景的理解或者预测。关键技术:微调、轻量化、量化、部署等;

其次VLA的概念还有执行(action,vision+language+action=VLA),VLA可以是属于“端到端”这一概念!从数据源到执行。业内目前有两种VLA方案,两阶段:基于大模型+Diffusion(比如理想,信息提取+轨迹输出),单阶段完全基于大模型的方案比如OpenDriveVLA(输出轨迹)。

这样描述我想大家应该都能理解了,对应岗位的技术基本围绕大模型、diffusion还有数据生成等,是一个值得投入的研发方向。自动驾驶之心也为大家推荐一些岗位,希望有一定经验的大佬投递。详细公司与级别欢迎底部咨询我们!!!!

1)大模型研发工程师

base:深圳/上海;

待遇:30k-80k/月

岗位描述:

  • 熟悉多模态大语言模型,基于现有的大模型进行微调,优化模型在垂直业务场景(自动驾驶、机器人中的reasoning/knowledge)的性能。

  • 深度参与视觉大模型VLM、VLA等前沿方向在自动驾驶中的应用,包含不仅限于数据pipeline搭建、模型微调、模型性能评估,探索数据配比、数据合成相关的前沿技术。

岗位要求:

  • 熟悉Transformer、图文多模态、LLM、大模型预训练方法,并且有相关模型训练实际经验;

  • 在CVPR/ICCV/ECCV/NeurPS/ICLR/ACL/EMNLP等学术顶会有相关论文发表,或在相关国际竞赛中取得优异成绩者优先。

  • 有ACM/IOI/NOI/Top Coder等算法竞赛获奖经历优先。

2)端到端/VLA工程师

base:深圳/上海

待遇:30k-80k/月

职位描述:

End-to-end driving system研发与落地,负责端到端/VLA模型结构搭建与调优,高质量大规模训练数据集构建,设计路径规划评估,闭环评测系统研发。持续关注并跟踪自动驾驶及人工智能领域的最新技术进展,进行新技术的调研和探索。

职位要求:

  • 计算机视觉基础扎实,熟悉主流技术路线,熟练使用pytorch等训练框架;

  • 有轨迹预测相关研究经验的优先;

  • 有LLM/MLLM/VLM研发经验的优先;

  • 在CVPR/ICCV/ECCV/NeurPS/ICLR/ACL/EMNLP等学术顶会有相关论文发表,或在相关国际竞赛中取得优异成绩者优先。

  • 有ACM/IOI/NOI/Top Coder等算法竞赛获奖经历优先。

3)VLA/VLM大模型算法

base:北京/上海/杭州

待遇:40k-100k/月

岗位职责:

  • 负责自动驾驶领域VLA/VLM核心算法研发,推动视觉-语言-驾驶行为的多模态决策系统落地

  • 设计端到端驾驶策略学习框架,融合模仿学习、强化学习等技术优化驾驶决策生成

  • 开发基于多模态大模型的场景理解与行为预测系统,支持复杂交通场景的认知与推理

  • 探索大模型(LLM/VLM)、生成式模型(Diffusion Policy)在自动驾驶的创新应用

  • 协同感知、预测、控制模块团队,实现算法在量产系统的工程化部署

岗位要求:

硕士及以上学历,计算机/人工智能相关专业,3-5年自动驾驶或AI算法经验

精通VLA/VLM架构,具备多模态大模型(Transformer-based)训练调优经验,熟悉PyTorch/DeepSpeed/FSDP框架

熟悉自动驾驶技术栈(轨迹预测、决策规划),有模仿学习/强化学习项目落地经验

具备以下至少两项能力:

1)千亿参数级大模型训练与优化

2)驾驶场景生成式模型(Diffusion/LLM)开发

3)多模态数据挖掘与驾驶策略预训练

4)世界模型与仿真场景构建

熟悉主流自动驾驶数据集(如nuScenes/Waymo),有量产项目经验者优先

顶会论文(CVPR/ICCV/CoRL等)或专利成果者优先

欢迎咨询

更多信息,欢迎添加小助理微信:Remix-clover做进一步咨询!

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

内容概要:本文围绕EKF SLAM(扩展卡尔曼滤波同步定位与地图构建)的性能展开多项对比实验研究,重点分析在稀疏与稠密landmark环境下、预测与更新步骤同时进行与非同时进行的情况下的系统性能差异,并进一步探讨EKF SLAM在有色噪声干扰下的鲁棒性表现。实验考虑了不确定性因素的影响,旨在评估不同条件下算法的定位精度与地图构建质量,为实际应用中EKF SLAM的优化提供依据。文档还提及多智能体系统在遭受DoS攻击下的弹性控制研究,但核心内容聚焦于SLAM算法的性能测试与分析。; 适合人群:具备一定机器人学、状态估计或自动驾驶基础知识的科研人员及工程技术人员,尤其是从事SLAM算法研究或应用开发的硕士、博士研究生相关领域研发人员。; 使用场景及目标:①用于比较EKF SLAM在不同landmark密度下的性能表现;②分析预测与更新机制同步与否对滤波器稳定性与精度的影响;③评估系统在有色噪声等非理想观测条件下的适应能力,提升实际部署中的可靠性。; 阅读建议:建议结合MATLAB仿真代码进行实验复现,重点关注状态协方差传播、观测更新频率与噪声模型设置等关键环节,深入理解EKF SLAM在复杂环境下的行为特性。稀疏 landmark 与稠密 landmark 下 EKF SLAM 性能对比实验,预测更新同时进行与非同时进行对比 EKF SLAM 性能对比实验,EKF SLAM 在有色噪声下性能实验
根据提供的参考内容,虽未直接提及流匹配VLA模型提升通用机器人控制的方法,但已知π0是采用流匹配目标函数的强VLA,且在大规模机器人数据集上进行预训练,之后用LoRA从预训练的检查点进行微调,这可能是提升通用机器人控制的一种途径。 在大规模机器人数据集上预训练,能让模型学习到更广泛、更通用的机器人控制相关特征模式,使模型具备处理复杂情况的能力。而使用LoRA(Low-Rank Adaptation)从预训练的检查点进行微调,可在不大量增加可训练参数的情况下,快速适应特定的任务数据,提高模型的性能泛化能力,进而提升通用机器人控制水平。 ```python # 以下为模拟LoRA微调的简单代码示例(非完整可运行代码) import torch import torch.nn as nn # 假设这是预训练模型 class PretrainedModel(nn.Module): def __init__(self): super(PretrainedModel, self).__init__() self.fc = nn.Linear(10, 10) def forward(self, x): return self.fc(x) # 初始化预训练模型 pretrained_model = PretrainedModel() # 定义LoRA模块 class LoRA(nn.Module): def __init__(self, in_features, out_features, rank=4): super(LoRA, self).__init__() self.A = nn.Parameter(torch.randn(in_features, rank)) self.B = nn.Parameter(torch.randn(rank, out_features)) def forward(self, x): return torch.matmul(x, torch.matmul(self.A, self.B)) # 初始化LoRA模块 lora = LoRA(10, 10) # 将LoRA与预训练模型结合 class FineTunedModel(nn.Module): def __init__(self, pretrained_model, lora): super(FineTunedModel, self).__init__() self.pretrained_model = pretrained_model self.lora = lora def forward(self, x): out_pretrained = self.pretrained_model(x) out_lora = self.lora(x) return out_pretrained + out_lora # 初始化微调后的模型 fine_tuned_model = FineTunedModel(pretrained_model, lora) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值