<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[w_t_f的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/w_t_f</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; w_t_f]]></copyright><item><title><![CDATA[Galaxea G0.5 | 把“推理”和“动作”缝进同一个 token 流，VLA 回归自回归]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/163724654</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/163724654</guid><author>w_t_f</author><pubDate>Thu, 13 Aug 2026 13:58:07 +0800</pubDate><description><![CDATA[π0.5\pi_{0.5}π0.5​π0.5\pi_{0.5}π0.5​把感知、推理、动作统一到同一条自回归 token 流、同一套词表、同一个 next-token 交叉熵。VLM 不再给专家当编码器，而是自己生成 CoT 与动作码；跨本体 ActionCodec 负责把异构连续动作编进共享离散词表，并在推理时解码回连续控制。图1：G0.5 总览。左上：单个 VLM 条件于多视角图像、指令、本体感受与本体标识，在同一 next-token 目标下生成可选 CoT 与紧凑动作码；]]></description><category></category></item><item><title><![CDATA[Qwen团队提出Ego2Robot, 第一人称视频助力具身VLA训练新数据]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/163688181</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/163688181</guid><author>w_t_f</author><pubDate>Wed, 12 Aug 2026 10:10:12 +0800</pubDate><description><![CDATA[动作对齐（将手部姿态重定向为机器人末端执行器轨迹并进行时序平滑）、视觉对齐（去除人手臂并渲染合成机器人手臂）、质量筛选（在轨迹/帧/片段三级过滤低质量样本）。流水线支持两条输入路径：Path A 接受带手部姿态标注的 ego 数据集，Path B 处理无标注视频（先用 WiLoR 逐帧重建、DynHaMR 时序优化估计手部姿态；长视频用 Qwen3.5 分割成子任务）。得到手部姿态后，两条路径共享统一流水线，可为 15 种机器人形态并行生成训练数据。]]></description><category></category></item><item><title><![CDATA[GraspVLA：十亿合成数据训练抓取基础模型]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/162844706</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/162844706</guid><author>w_t_f</author><pubDate>Mon, 13 Jul 2026 16:07:30 +0800</pubDate><description><![CDATA[中文摘要（≤150字） 本研究提出了GraspVLA模型，首次完全基于十亿级合成数据(SynGrasp-1B)训练视觉-语言-动作基础模型。通过渐进式动作生成(PAG)机制将合成动作数据与互联网语义联合训练，实现了90%的零样本真实世界抓取成功率。创新性地采用思维链推理流程，有效缩小仿真到现实差距，在开放词汇抓取任务中显著超越现有方法。实验表明该模型具备优异的零样本泛化能力和少样本适应特性，为具身智能训练范式提供了新思路。]]></description><category></category></item><item><title><![CDATA[低成本跨具身灵巧操作框架EaDex]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/162343150</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/162343150</guid><author>w_t_f</author><pubDate>Fri, 26 Jun 2026 15:29:46 +0800</pubDate><description><![CDATA[数据构建模块（Section 3.1）和接触奖励驱动的动态示范退火模块。]]></description><category></category></item><item><title><![CDATA[DreamVLA：首个预测世界知识的VLA模型]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/162269995</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/162269995</guid><author>w_t_f</author><pubDate>Wed, 24 Jun 2026 13:42:31 +0800</pubDate><description><![CDATA[最近在视觉-语言-动作(VLA)模型方面的进展展示了将图像生成与动作预测相结合以提高机器人操作泛化能力和推理能力的潜力。然而，现有方法局限于具有挑战性的基于图像的预测，存在冗余信息且缺乏全面且关键的世界知识，包括动态、空间和语义信息。为了解决这些局限性，我们提出了DreamVLA，一个新颖的VLA框架，集成了综合世界知识预测以实现逆动力学建模，从而建立操作任务的感知-预测-行动循环。具体来说，DreamVLA引入了动态区域引导的世界知识预测，结合空间和语义线索，为动作规划提供了紧凑而全面的表示。]]></description><category></category></item><item><title><![CDATA[临床VLM跨模态隐私风险：图像如何泄露报告]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/162060719</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/162060719</guid><author>w_t_f</author><pubDate>Wed, 17 Jun 2026 11:08:35 +0800</pubDate><description><![CDATA[临床视觉语言模型的跨模态链接隐私风险研究 研究揭示了临床视觉语言模型（VLM）在共享嵌入空间中保留的实例级图像-报告对应关系构成的新型隐私风险。通过对4种不同专化程度的VLM在40万+医学图像-报告对上的评估，发现最专化的模型（BioViL-T）能以15-50倍于随机概率的准确率重新关联脱标识化胸片与原报告。研究提出针对性差分隐私微调方法，仅对共享对齐层进行优化，在将跨模态重链接风险降低61.8%的同时，保持了图像侧诊断性能（AUROC仅下降0.2%）。这一发现强调了多模态医学AI开发中需平衡模型效用与隐私]]></description><category></category></item><item><title><![CDATA[BORA：灵巧VLA模型的离线-在线强化学习框架]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/162029291</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/162029291</guid><author>w_t_f</author><pubDate>Tue, 16 Jun 2026 10:57:39 +0800</pubDate><description><![CDATA[本文提出BORA框架，针对视觉-语言-动作（VLA）模型在真实世界灵巧操作中的挑战，设计了一种离线到在线的强化学习后训练方法。BORA在离线阶段构建动作条件Critic，结合VLM认知token和动作块进行价值评估；在线阶段则冻结VLA基座并引入轻量级残差适应机制，通过人在回路干预修正执行误差。实验表明，BORA在5个复杂灵巧任务中平均成功率提升33%，未见物体泛化能力提升43%，显著优于纯模仿学习和传统RL基线。该工作为VLA模型在真实世界灵巧操作中的应用提供了有效解决方案。]]></description><category></category></item><item><title><![CDATA[跨本体机器人学习：人类运动解码通用物理交互]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/161898461</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/161898461</guid><author>w_t_f</author><pubDate>Thu, 11 Jun 2026 16:58:34 +0800</pubDate><description><![CDATA[论文摘要 本文提出了Being-H0.5，一种面向跨本体泛化的基础视觉-语言-动作(VLA)模型。针对现有VLA模型在形态异质性和数据稀缺方面的局限性，研究团队创新性地采用了以人为中心的学习范式，将人类交互轨迹视为物理交互的"母语"。为实现这一目标，团队构建了UniHand-2.0数据集，包含超过35,000小时的多模态数据，覆盖30种不同机器人本体。方法上提出了统一动作空间，通过语义对齐将异构机器人控制映射为共享表示，使低资源机器人能够从人类数据中学习。模型采用混合Transformer架构，包含创新的混]]></description><category></category></item><item><title><![CDATA[AgiBot-World：百万轨迹数据集开创机器人操作新纪元]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/161865343</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/161865343</guid><author>w_t_f</author><pubDate>Wed, 10 Jun 2026 16:16:56 +0800</pubDate><description><![CDATA[本文介绍了AgiBot World Colosseo平台，这是一个大规模机器人操作数据集和智能体训练系统。该平台包含超过100万条轨迹、217项任务，涵盖家庭、零售等五大场景，数据规模比现有数据集提升一个数量级。研究团队提出了GO-1通用策略模型，利用潜在动作表征实现跨模态预训练，在复杂任务上达到60%以上的成功率，比先前方法提升32%。该工作推动了通用具身智能的发展，提供了标准化数据采集流程和开源生态。]]></description><category></category></item><item><title><![CDATA[动作思维链：VLA模型的新推理范式]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/161824434</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/161824434</guid><author>w_t_f</author><pubDate>Tue, 09 Jun 2026 11:35:54 +0800</pubDate><description><![CDATA[ACoT-VLA：面向视觉-语言-动作模型的动作思维链方法 本文提出ACoT-VLA框架，创新性地将思维链推理引入动作空间。传统VLA模型依赖语言或视觉中间推理指导动作生成，存在语义-运动学鸿沟问题。ACoT-VLA通过显式动作推理器(EAR)生成粗参考轨迹，结合隐式动作推理器(IAR)提取潜在动作先验，形成直接的动作空间指导。实验表明，该方法在LIBERO等基准上达到SOTA性能，验证了动作空间推理的有效性。 核心创新： 首次提出动作思维链(ACoT)概念 开发显式-隐式双通道动作推理架构 实现动作空间直]]></description><category></category></item><item><title><![CDATA[ABot-M0：基于动作流形学习的机器人操作VLA基础模型深度解析]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/161799000</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/161799000</guid><author>w_t_f</author><pubDate>Mon, 08 Jun 2026 14:05:57 +0800</pubDate><description><![CDATA[摘要 本文提出了ABot-M0机器人操作基础模型，通过整合六个开源数据集构建了UniACT-dataset（600万轨迹、9500+小时、20+本体），采用标准化预处理解决数据格式不一致问题。创新性地提出"动作流形假设"，设计动作流形学习（AML）机制，使DiT骨干直接预测低维平滑动作序列，并引入双流特征交互和可选3D空间模块。实验表明，该模型在LIBERO、LIBERO-Plus、RoboCasa和RoboTwin2.0任务上分别达到98.6%、80.5%、58.3%和81.2%的成功率，证明了通过公共数]]></description><category></category></item><item><title><![CDATA[DreamVLA：世界知识驱动的视觉-语言-动作新范式]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/161722183</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/161722183</guid><author>w_t_f</author><pubDate>Fri, 05 Jun 2026 15:32:52 +0800</pubDate><description><![CDATA[DreamVLA提出了一种新型视觉-语言-动作（VLA）模型，通过预测综合世界知识（动态、空间和语义信息）而非完整图像帧来改进机器人操作任务。该模型采用动态区域引导的世界知识预测和块状结构化注意力机制，避免不同模态间的信息干扰，并利用扩散Transformer解耦动作表示。实验显示，DreamVLA在真实机器人任务中达到76.7%的成功率，在CALVIN基准上优于现有方法。其紧凑的表示方式减少了冗余计算，更符合人类认知方式。]]></description><category></category></item><item><title><![CDATA[具身智能数据集调研2026]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/161599590</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/161599590</guid><author>w_t_f</author><pubDate>Mon, 01 Jun 2026 18:27:43 +0800</pubDate><description><![CDATA[具身智能数据集调研摘要 本文调研了当前主流的具身智能数据集，包括AgiBot World、RoboTwin 2.0、GraspVLA、Galaxea Open-World、Open X-Embodiment、VLABench和UniHand 2.0等。这些数据集在规模、场景覆盖、任务类型和数据来源等方面各具特色：AgiBot World强调真实场景长时间操控任务（2976小时）；RoboTwin 2.0专注双臂协作（50+任务）；GraspVLA是首个十亿级抓取数据集；Open X-Embodiment整合]]></description><category></category></item><item><title><![CDATA[即插即用的OCC结果增强模型 TT-Occ]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/155937784</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/155937784</guid><author>w_t_f</author><pubDate>Mon, 15 Dec 2025 11:50:29 +0800</pubDate><description><![CDATA[本文提出TT-Occ框架，通过3D高斯泼溅实现测试阶段自监督3D占据预测。该方法将几何信息与VLM语义特征对齐，分别跟踪动静态高斯点，并引入三边径向基函数平滑结果。实验表明该方法无需标注数据或先验信息，能灵活预测3D占据。虽然精度尚待提升，但展现了3DGS在感知任务中的应用潜力。]]></description><category></category></item><item><title><![CDATA[点云分割新SOTA-多模态自监督预训练模型Concerto]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/155937550</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/155937550</guid><author>w_t_f</author><pubDate>Mon, 15 Dec 2025 11:47:01 +0800</pubDate><description><![CDATA[摘要： Concerto提出了一种联合2D-3D自监督学习框架，通过结合3D模态内自蒸馏与2D-3D跨模态协同训练，学习更丰富且连贯的空间表征。实验表明，多模态联合训练优于单模态方法，在多个场景理解任务中达到SOTA性能。此外，Concerto扩展了时序点云理解任务，并通过线性投影至CLIP语言空间实现开放世界感知。该方法以简洁架构验证了多模态自监督的潜力，为点云感知提供了数据驱动的新思路。]]></description><category></category></item><item><title><![CDATA[Neural Kernel Surface Reconstruction]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/155033483</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/155033483</guid><author>w_t_f</author><pubDate>Wed, 19 Nov 2025 17:24:27 +0800</pubDate><description><![CDATA[本文提出一种从大规模稀疏噪声点云重建3D隐式曲面的新方法Neural Kernel Surface Reconstruction (NKSR)。该方法基于神经核场(NKF)，通过使用紧凑支持核函数实现内存高效线性求解，支持大场景重建；通过梯度拟合提升抗噪能力；并降低训练条件，允许任意数据集联合训练。核心创新包括：1)基于梯度的核函数提升抗噪性；2)显式层级体素结构确保多尺度一致性。模型通过预测稀疏体素层级和核函数，求解线性系统获得隐式曲面，并引入掩码模块消除虚假几何。实验表明该方法能处理域外输入、混合训练数]]></description><category></category></item><item><title><![CDATA[GS-Occ3D]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/154652280</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/154652280</guid><author>w_t_f</author><pubDate>Mon, 10 Nov 2025 15:59:19 +0800</pubDate><description><![CDATA[本文提出GS-Occ3D，一种基于高斯曲面模型的纯视觉3D场景重建方法，旨在解决现有基于Mesh方法在自动驾驶场景中的局限性。该方法通过八叉树结构实现分层空间划分，结合动态目标运动状态捕捉和时序聚合处理，有效提升了重建精度和效率。实验结果表明，该方法在复杂室外场景中表现优异，尤其适用于纹理较弱和长视距的高速场景。通过帧聚合和射线传播策略，显著改善了动态目标重建质量，为自动驾驶领域提供了可靠的纯视觉解决方案。]]></description><category></category></item><item><title><![CDATA[GaussTR]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/153317937</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/153317937</guid><author>w_t_f</author><pubDate>Wed, 15 Oct 2025 11:19:11 +0800</pubDate><description><![CDATA[本文提出GaussTR框架，将3D场景表示为离散高斯分布集合并与视觉基础模型(VFM)对齐，实现自监督3D空间理解。该模型通过Transformer预测高斯参数，利用高斯溅射将3D特征投影到2D视图与VFM特征对齐，无需显式标注即可实现开放词汇占用预测。实验表明，GaussTR在零样本任务中达到SOTA性能，显著提升了3D场景理解的泛化能力。核心创新包括：1)基于高斯分布的离散场景表征；2)与VFM对齐的自监督训练；3)高效的开放词汇预测能力。]]></description><category></category></item><item><title><![CDATA[Occ3D: A Large-Scale 3D Occupancy Prediction Benchmark for Autonomous Driving]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/149932589</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/149932589</guid><author>w_t_f</author><pubDate>Tue, 05 Aug 2025 11:07:17 +0800</pubDate><description><![CDATA[由于点云的稀疏性，很容易将空洞误以为是"free"，因此本文采用叠帧数据下的射线广播的方法，如图a所示，如果该点位置反射了来自雷达的射线，则定义为"occupied"，若an该点被射线o穿透，则定义为"free"，除此之外，则定义为"unobserved"。因此本文利用点云和其分割结果重建高质量的Occ真值，并解决了几个关键问题：1） 点云稀疏性问题，2） 遮挡问题，3） 点云与图像之间的对齐问题。其中，nuscenes数据集的标注范围为[-40m, -40m, -1m, 40m, 40m, 5.4m]；]]></description><category></category></item><item><title><![CDATA[通用障碍物调研]]></title><link>https://blog.youkuaiyun.com/w_t_f/article/details/149840590</link><guid>https://blog.youkuaiyun.com/w_t_f/article/details/149840590</guid><author>w_t_f</author><pubDate>Fri, 01 Aug 2025 19:51:29 +0800</pubDate><description><![CDATA[在调研到的方法中，可以实现通用障碍物检测大致功能的包括了freespace的分割，open set/增量学习(包含类别信息)，无差别检测(不包含类别信息)，想要在轻量化的基础之上保障检测的精准性是一件极具挑战的事情。col-wise的检测：好处在于：无差别障碍物检测，对于我们来说，检测出最近的障碍物是第一需求的话，这种技术路线很适配；方法虽然比较老，但是一些通用方法的迭代发展，完全可以与之结合以提升性能；]]></description><category></category></item></channel></rss>