- 博客(58)
- 收藏
- 关注
RSS订阅原创 π₀ 算法官方代码解读
本文面向希望从算法一路读到代码的读者。内容以当前 OpenPI 仓库中的 JAX/Flax 实现为准，重点讲解原始；π₀-FAST 与 π₀.₅ 只在容易混淆处对比说明。文中的B表示 batch size，H_a表示 action horizon，D_a表示 action dimension。
2026-07-20 01:23:04
328
原创 π0 算法与代码全流程解读
JointModel 最后一层默认不计算 VLM/proprio 的 O projection、残差后 Norm、MLP 和最终输出，只保留它们提供给 action query 的 K/V，减少无用计算；action stream 完整运行并做 final norm。mlp前三类确实不产生最终 VLM 输出。需要注意，按当前联合注意力执行代码，最后一层 VLMv_proj仍会生成 action 所读取的 value；因此“被冻结”不应被理解成“完全不参与前向”。
2026-07-18 12:19:17
379
原创 NVIDIA博客-预训练去想象，微调去行动：世界-动作模型 (WAM) 的崛起
本章对整篇博客做收束。作者给出三点明确判断：从自然语言指令到机器人运动的"语义接地鸿沟"至今仍未闭合，现代 VLA 与从视频侧进攻的 WAM 都只是部分缓解而非解决；机器人评测仍是制约整个领域进步的核心瓶颈，需要让"刷分（benchmaxxing）"变得更难的真泛化基准；而下一代机器人基础模型最可能的形态，是 VLA 与 WAM 的混合体，或是从零训练的机器人优先（robotics-first）基础模型。
2026-07-12 22:40:25
652
原创 机器人学习中的世界模型：一份全景式技术综述
近两年，Vision-Language-Action（VLA）策略成了具身智能的中心范式——把感知、语言理解、控制统一进一个端到端模型。但纯反应式 VLA 在长时序推理、误差累积、物理鲁棒性上仍有明显短板。问题的根源不只是"动作预测能力不足"，更是缺少一个显式的预测结构去预判"世界将如何在机器人行为下演化"。这正是"世界模型（World Model）"复兴的契机。但"世界模型"这个词在文献里被用得过于宽泛——潜动力学模型、未来状态预测器、视频预测器、甚至大策略内部的隐式预测结构，都被叫做世界模型。
2026-07-12 20:22:00
877
原创 世界动作模型（WAM）综述：从 VLA 到具身智能的下一前沿
让机器人在非结构化的物理环境中感知、推理并行动，长期以来一直是具身智能（Embodied AI）研究的核心目标。近年来，这一领域逐渐汇聚到一个强有力的范式之上：视觉-语言-动作模型（Vision-Language-Action, VLA），即将预训练的视觉-语言骨干网络重新改造为通用的机器人策略。通过把动作生成形式化为"在互联网级视觉与语言表征之上的条件化 token 预测"，VLA 模型展现出了惊人的泛化能力：能够遵循新颖的语言指令、操纵从未见过的物体，并在极少微调的情况下跨机器人本体迁移。这些结果表明，
2026-07-12 19:52:53
1603
原创 Pure Vision-Language-Action (VLA) 模型：一份全面的综述精读
本文综述了纯视觉-语言-动作(VLA)模型的最新研究进展，系统梳理了从基础模型到具身智能的发展脉络。文章提出基于动作生成策略的四大范式分类法：自回归、扩散、强化和混合专用方法，并对每类方法的代表性工作、技术特点及优缺点进行了详细分析。同时涵盖了VLA研究所需的数据集、仿真平台、机器人硬件等关键支撑要素，并讨论了当前面临的五大挑战和未来四大发展方向。该综述为研究者提供了VLA领域的全景式技术路线图，既可作为入门指南，也能为特定方向的深入探索提供参考。
2026-07-12 19:34:49
562
原创 世界模型综述
本文是迄今最全面的世界模型（World Models）综述，系统梳理了从早期符号帧表示到当前十亿参数神经模拟器的完整发展脉络，涵盖：世界模型是智能体的内部预测模拟器，形式化为：pθ(st+1,ot+1,rt∣st,at)(1)p_\theta(s_{t+1}, o_{t+1}, r_t \mid s_t, a_t) \tag{1}pθ(st+1,ot+1,rt∣st,at)(1)给定当前状态 sts_tst 和动作 ata_tat，预测下一状态 st+1s_{t+1}st+1、观测 ot+
2026-06-21 12:20:18
638
原创 广播机制（broadcasting）
如果一个 PyTorch 操作支持广播（broadcast），那么其输入的 Tensor 参数可以自动扩展为相同大小（不需要实际复制数据）。在大多数情况下，较小的 Tensor 会被广播到较大的 Tensor 的形状，以保证它们在计算时维度一致。
2025-08-25 01:49:19
1238
原创 端到端自动驾驶：挑战与前沿
端到端自动驾驶研究综述 本文全面回顾了端到端自动驾驶技术的发展历程、关键方法与前沿挑战。相比传统模块化系统，端到端方法通过联合优化感知、预测和规划模块，展现出计算效率高和整体性能优化的优势。研究梳理了270余篇文献，系统分析了模仿学习（包括行为克隆和逆最优控制）和强化学习两类主要方法。当前研究面临多模态融合、可解释性、因果混淆等核心挑战，同时正积极探索基础模型和视觉预训练等前沿技术的整合应用。随着CARLA v2和nuPlan等新基准的建立，该领域正从单纯算法改进转向更注重系统安全性和泛化能力的研究方向。本
2025-07-12 18:07:54
1652
原创 自动驾驶数据集综述：统计特征、标注质量与未来展望
本文对265个自动驾驶数据集进行了全面综述，系统分析了传感器类型、数据规模、任务类型和环境多样性等关键特征。研究提出了评估数据集影响力的新指标，结合引用分数、数据维度和环境多样性等因素。通过对比分析主流数据集（如Argoverse 2、KITTI、nuScenes等），深入探讨了不同传感器（RGB摄像头、激光雷达、毫米波雷达等）的数据特性与适用场景。文章还重点研究了数据标注流程、质量评估以及地理因素对系统性能的影响，揭示了当前数据集的局限性。最后，展望了自动驾驶数据集的未来发展方向，包括语言模型的数据生成、
2025-07-10 18:48:19
1924
原创 从深度学习的角度看自动驾驶
本文综述了深度学习在自动驾驶中的关键应用，系统梳理了感知、定位、决策与控制四大模块的技术进展。文章首先介绍了SAE自动驾驶分级标准，指出当前L2向L5演进面临的技术与伦理挑战。重点分析了目标检测算法（如DETR、Swin Transformer和SAM）在复杂环境下的性能优化，探讨了3D目标表示对导航安全的重要性。研究强调，实现高阶自动驾驶需要算法突破与系统级解决方案的协同，包括传感器融合、计算效率和严格安全标准。最后指出，恶劣天气条件下的感知鲁棒性、模型可解释性和实时决策能力仍是待攻克的核心难题。
2025-07-08 23:45:46
1874
1
原创 Locate 3D：Meta出品自监督学习3D定位方法
我们提出了 Locate 3D，这是一种可根据指代表达（如“沙发和灯之间的小咖啡桌”）在三维场景中定位物体的模型。Locate 3D 在标准的指代定位基准测试中创下了新的最先进水平，并展现出强大的泛化能力。值得注意的是，Locate 3D 可直接处理传感器观测流（带位姿的 RGB-D 帧），从而支持在机器人和增强现实设备上的实际部署。我们方法的关键是 3D-JEPA，这是一种新颖的自监督学习（SSL）算法，适用于传感器点云。
2025-04-30 12:04:06
2222
原创 多模态大模型系列解读
在过去的一年中，多模态大型语言模型 (MM-LLM) 取得了长足的进步，通过经济高效的训练策略增强了现成的 LLM 以支持 MM 输入或输出。由此产生的模型不仅保留了 LLM 固有的推理和决策能力，而且还支持各种 MM 任务。 在本文中，我们提供了一项全面的调研并总结，旨在促进对 MM-LLM 的进一步研究。
2024-08-05 17:35:52
2426
原创 深度学习遇到梯度无法反传？看这些方法就够了！
Straight-Through Estimator (STE)Gumbel-SoftmaxReinforceConcrete / Relaxed SoftmaxContinuous RelaxationsTemperature AnnealingDifferentiable ArgMax
2024-03-21 12:37:32
1368
2
原创 通俗易懂地理解Gumbel Softmax
我在学习《》的过程中，听到朱老师讲到了GroupViT中用到了gumbel softmax（），于是我带着好奇心试图想去了解gumbel softmax是什么，最后我把我的理解写成这篇文章，但是目前我在工作中还没用到gumbel softmax，所以如果有说得不对的地方，欢迎指正。
2023-09-25 00:37:54
2453
原创 一文搞懂域泛化、域适应、few-shot、zero-shot、open-world、open-vocabulary
域泛化是一种机器学习任务，旨在让模型在不同于训练数据的新领域（或域）中进行泛化。这意味着模型在未见过的领域中也能表现良好，而不仅仅在训练时使用的领域中表现好。
2023-09-23 11:54:40
6312
1
原创 三分钟透彻理解Python中的@staticmethod和@classmethod
这篇博文主要讲解以下问题：@classmethod和@staticmethod在Python中是什么意思，它们有何区别？我应该在何时使用它们，为什么要使用它们，以及如何使用它们？@classmethod告诉一个类，这是一个应该被子类继承的方法，或者某种程度上是这样。然而，这样做的目的是什么呢？为什么不直接定义类方法，而不添加@classmethod、@staticmethod或任何@定义呢？
2023-09-15 17:52:45
8951
原创 Shape Correspondence谱方法
XYnxnyΦx∈Rnx×kΦy∈Rny×kFx∈Rnx×cFy∈Rny×cAΦx⊺Fx∈Rk×cBΦy⊺Fy∈Rk×cCxy∈Rk×kCxyargminCEdataCλEregC,Edata∣∣CA−B∣∣2EregCxyΠyx。
2023-04-06 21:19:04
315
原创 Vscode Debugging 变量解释及查询
Visual Studio Code支持Debugging和Task配置文件中的变量替换，以及一些选择设置。这些变量如。而且这些变量应用的非常普遍，然而我们一直无法准确知道这些变量在运行中到底表达什么含义，如果能在调试的时候将他们输出打印出来，就会能够更好的配置我们的项目。
2023-04-04 21:59:03
2684
原创 高斯分布(Guassian Distribution)建模不确定度(Uncertainty)问题
For uncertainty problem, Gaussian Distribution is all you need!
2022-09-22 19:58:15
2744
2
原创 Pytorch Parallel KeyError Bug
报错：Traceback (most recent call last): File "train_point_corr.py", l
2022-04-08 23:50:38
819
转载 [Repost]Python 中下划线的 5 种含义
转载自：Python 中下划线的 5 种含义PEP 8 — the Style Guide for Python Code
2022-02-26 12:08:44
184
原创 Github进行fork后如何与原仓库同步
Github进行fork后如何与原仓库同步在你 fork 之后， SamsungLabs（原仓库）的仓库又更新了，但 github 不会自动帮你把SamsungLabs的仓库同步给你 fork 后的仓库，导致你提交 pull、request 时的版本和SamsungLabs的版本不一致。Github进行fork后如何与原仓库同步呢？最省事的办法可能是：在你fork的仓库setting页翻到最下方，然后delete这个仓库；然后重新fork SamsungLabs 的仓库，并 git clone 到你的本
2022-02-22 12:34:39
2890
原创 Channel Attention 通道注意力
通道注意力总结SE-Net:Squeeze-and-Excitation NetworksCBAM: Convolutional Block Attention ModuleECA-Net: Efficient Channel Attention for Deep Convolutional Neural NetworksEPSANet: An Efficient Pyramid Squeeze Attention Block on Convolutional Neural NetworkFcaNet: F
2021-10-21 21:15:00
38461
转载 [Repost]pytorch中的.Tensor、.tensor、.from_numpy、.as_tensor区别
转载自：pytorch中的.Tensor、.tensor、.from_numpy、.as_tensor区别
2021-09-01 11:45:56
321
原创 卡尔曼滤波跟踪的相关概念与方程推导
卡尔曼滤波跟踪的相关概念与方程推导 直接从数学公式和概念入手来考虑卡尔曼滤波无疑是一件非常枯燥的事情。为了便于理解，我们仍然从一个现实中的实例开始下面的介绍，这一过程中你所需的预备知识仅仅是高中程度的物理学内容。 假如现在有一辆在路上做直线运动的小车（如下所示），该小车在 t 时刻的状态可以用一个向量来表示，其中pt 表示他当前的位置，vt表示该车当前的速度。当然，司机还可以踩油门或者刹车来给车一个加速度ut，ut相当于是一个对车的控制量。显然，如果司机既没有踩油门也没有踩刹车，那么ut就等于0。此
2021-08-08 11:41:24
487
原创 盘点表示学习(Representation Learning)发展中的逻辑
Logic in Representation Learning基于负例的对比学习：以SimCLR为例Batch之外：以MocoV2为例基于对比聚类的对比学习：负例隐身术以SwAV为例对比学习(Contrastive Learning) 是判别式自监督学习的一种，不依赖标注数据，要从无标注图像中自己学习知识。通过自动构造相似实例和不相似实例，要求习得一个表示学习模型，通过这个模型，使得相似的实例在投影空间中比较接近，而不相似的实例在投影空间中距离比较远。而如何构造相似实例，以及不相似实例，如何构造能够遵循
2021-07-27 01:57:27
963
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人