具身智能:原理、算法与系统 第9章 主动感知与注意力

具身智能:从感知-决策-执行闭环看AI落地物理世界 具身智能是一种以身体为认知载体、依赖实时物理交互演化的智能范式,其核心在于构建‘感知-决策-执行’紧耦合闭环。它突破传统AI离线推理局限,强调传感器即认知器官、执行器即认知延伸、物理约束即学习捷径,技术价值体现在毫秒级响应、抗扰动适应与真实环境泛化能力。典型应用场景覆盖工业机器人精准装配、AMR自主导航、医疗康复人机协同等高动态、强交互任务。当前工程落地的关键支撑,正来自低成本多模态传感器普及、边缘实时计算芯片成熟,以及Sim2Real仿真迁移技术突破——这使得具身智能不再停留于理论,而成为可部署、可验证、 阅读详情

目录

第9章 主动感知与注意力

9.1 主动视觉

9.1.1 注视点控制与眼动模型

9.1.2 信息论视角的主动感知

9.1.3 下一最佳视图(NBV)规划

9.1.4 主动视觉的强化学习

9.2 注意力机制

9.2.1 自下而上与自上而下注意力

9.2.2 空间注意力与通道注意力

9.2.3 自注意力与Transformer

9.2.4 跨模态注意力

9.3 好奇心与内在动机

9.3.1 预测误差驱动的探索

9.3.2 信息增益与贝叶斯Surprise

9.3.3 赋能(Empowerment)最大化

9.3.4 技能发现与选项学习

9.4 感知动作循环

9.4.1 感知引导动作

9.4.2 动作引导感知

9.4.3 感知-动作耦合的神经机制

9.4.4 感知动作循环的学习优化


第9章 主动感知与注意力

主动感知代表了具身智能体从被动接收环境信息向主动获取关键信息的范式转变。与静态传感器不同,具身智能体通过控制感知器官的运动来优化信息获取过程,这种能力在资源受限的物理世界中至关重要。注意力机制则提供了信息筛选的算法基础,使智能体能够在海量感知数据中识别与当前任务相关的关键特征。两者共同构成了感知动作循环的核心,支撑智能体在复杂环境中的自适应行为。

9.1 主动视觉

主动视觉研究如何通过控制视觉传感器的姿态和运动来优化感知性能。该领域源于对生物视觉系统的观察——人眼并非被动接收器,而是通过眼动、头动和身体移动主动获取视觉信息。在机器人学中,主动视觉系统通过控制相机位姿、调节光学参数或移动观察平台来实现类似的功能。

9.1.1 注视点控制与眼动模型

注视点控制是主动视觉的基础机制,涉及将高分辨率感知区域定向到环境中的关键位置。生物视觉系统采用中央凹视觉(foveated vision)策略,视网膜中心区域具有高密度的感光细胞,而周边区域分辨率逐渐降低。这种非均匀采样策略大幅减少了需要处理的数据量,同时保持了对关键区域的精细感知。

在机器人实现中,注视点控制通常通过云台相机、机械臂末端执行器或移动平台的运动来实现。Gaskett等人开发的闭环注视控制系统利用10个自由度(4个眼部自由度、3个头部自由度、3个躯干自由度)协同工作,将目标维持在视野中心。该系统采用级联的PD控制器网络,基于视觉坐标与关节角度之间的简化映射关系,而非完整的运动学模型。这种设计使系统对机械磨损和维护活动具有鲁棒性,因为闭环控制能够收敛到期望配置而不依赖精确的运动学参数。

眼动模型分为平滑追踪、扫视和注视三种基本模式。平滑追踪用于跟踪移动目标,保持目标在视网膜上的稳定成像;扫视是快速的视线跳跃,用于将注视点从一个兴趣区域转移到另一个;注视则是相对静止的观察状态,用于详细分析目标特征。在具身智能体中,这些眼动模式需要与身体运动协调,形成层次化的感知策略。

注视点控制与眼动

图9.1 注视点控制示意图。中央凹区域(高分辨率)与周边区域(低分辨率)的划分,以及扫视运动将注视点从一个位置快速转移到另一个位置的过程。

9.1.2 信息论视角的主动感知

信息论为主动感知提供了形式化的优化框架。在该视角下,感知动作的选择被建模为信息增益最大化问题。智能体通过评估候选观察动作对降低状态估计不确定性的贡献,选择最优的感知策略。

信息论方法的核心是量化观察动作带来的不确定性减少。对于状态估计问题,不确定性通常用熵来度量。当智能体考虑移动到某个候选视角时,它预测在该视角下获得的测量将如何改变其后验信念分布。信息增益定义为当前状态不确定性与预期未来不确定性之差。最大化信息增益等价于选择能够最大程度降低状态估计方差的观察动作。

在主动定位任务中,信息论方法已被证明优于基于几何启发式的策略。通过最大化Fisher信息或最小化熵,机器人能够选择最优的相机位姿来减少位姿估计的不确定性。这种方法特别适用于多机器人协作场景,其中团队成员需要协调各自的观察动作以最大化联合信息增益。

信息论框架还被扩展到分类和建图任务。在主动分类中,智能体选择观察动作以最大化类别分布的信息增益,从而以最少的观察次数确定目标类别。在主动建图中,机器人选择能够最大化地图不确定性减少的观察位置,实现高效的环境探索。

多机器人主动感知

图9.2 多机器人主动感知中的视角选择。每个机器人通过评估候选视角的信息增益,协调选择最优观察位置以实现联合不确定性最小化。

9.1.3 下一最佳视图(NBV)规划

下一最佳视图规划是主动视觉在三维重建和物体识别中的具体应用。给定当前的部分观察,NBV算法确定下一个最优的相机位姿,以最大化重建质量或识别准确率。

NBV规划面临三个关键挑战:候选视角的生成、信息增益的预测以及运动成本的权衡。候选视角通常通过在物体周围采样球面位置或使用可达性分析生成。信息增益预测需要评估每个候选视角对减少重建不确定性的贡献,这通常通过分析表面可见性、遮挡关系和测量质量来实现。

在物体识别任务中,McGreavy等人提出的方法结合在线视角图和特征可见性分析。系统首先识别初始物体候选,然后分析从一组可达候选视角观察该候选的可见性。通过将最可能物体的模型投影到场景中,系统评估各视角下物体特征的可见性,选择能够最大化特征观测机会的视角。实验表明,该方法在82.5%的情况下成功找到导致物体识别的视角,并能在85%的试验中处理视觉遮挡。

对于抓取任务中的NBV规划,Breyer等人开发了闭环NBV规划框架。系统持续将传感器测量集成到场景的截断有符号距离函数重建中,并计算体素级的抓取可供性。基于目标物体可能占据的体素计数,系统计算期望观察到目标被遮挡部分的视角,并通过笛卡尔速度控制器跟踪该视角。与固定相机基线相比,该方法在保持相似成功率的同时将搜索时间减少了约40%。

NBV规划框架

图9.3 预测引导的多智能体NBV规划框架。通过预测未观察部分的形状,智能体能够更有效地选择下一最佳视图,实现协作三维重建。

9.1.4 主动视觉的强化学习

强化学习为主动视觉提供了端到端的学习框架,使智能体能够从经验中发现最优的感知策略。与基于模型的方法不同,强化学习方法不需要显式的不确定性模型,而是通过试错学习感知动作与任务性能之间的映射关系。

在主动视觉强化学习中,智能体同时学习感知策略(控制传感器运动)和运动策略(控制身体动作)。这种双重策略学习带来了独特的挑战:感知策略需要为运动策略提供信息丰富的观察,而运动策略的进展又依赖于感知策略获取的观察质量。两者相互依赖,形成非平稳的学习环境。

Shang等人提出的SUGARL框架通过内在感知运动奖励来解决这一协调问题。该框架将智能体建模为分离的感知和运动策略,但通过可学习的感知运动奖励模块进行联合训练。该模块基于逆动力学预测任务训练,为感知策略分配内在奖励,激励其选择能够最优推断自身运动动作的观察。实验表明,学习到的感知策略展现出类似于人类注视和追踪的主动视觉技能。

在遮挡环境下的操纵任务中,主动视觉强化学习显示出显著优势。通过主动移动相机以获取被遮挡物体的视图,智能体能够发现稳定的抓取配置。与固定相机基线相比,主动视觉策略在复杂场景中表现出更高的成功率和鲁棒性。

9.2 注意力机制

注意力机制使具身智能体能够在有限的计算资源下优先处理感知数据中最相关的部分。受生物视觉注意力的启发,计算注意力系统通过动态权重分配,增强关键特征并抑制无关信息。

9.2.1 自下而上与自上而下注意力

注意力机制可分为自下而上(刺激驱动)和自上而下(目标驱动)两种类型。自下而上注意力由感知输入的显著性特征触发,例如颜色对比、运动或纹理变化。这种注意力是自动的、快速的,不依赖于当前任务目标。自上而下注意力则由当前任务需求和内部目标引导,主动搜索与任务相关的特征。

传统观点将两者视为独立的系统,但最新研究提出统一框架,认为注意力选择源于单一系统在不同时间尺度上的表达。该框架识别出三个时间尺度的优先级:进化形成的生存 imperative、学习获得的价值偏置和即时的任务需求。自下而上和自上而下过程被重新解释为同一底层机制的不同时间表达。

在具身智能体中,这种统一视角具有重要启示。智能体的注意力策略应整合本能反应(如对快速接近物体的警觉)、学习到的关联(如工具与任务目标的联系)和当前意图(如搜索特定物体)。这种整合使智能体能够在动态环境中平衡反应性和目标导向行为。

自下而上与自上而下注意力

图9.4 感知动作闭环的神经机制。感觉运动弧(Sensory-motor arc)与多感觉整合环路(MSM-loop)的交互,展示了自下而上感觉输入与自上而下运动控制之间的动态耦合。

9.2.2 空间注意力与通道注意力

空间注意力机制通过生成二维注意力图来强调图像中的关键区域。该机制学习将权重分配给不同的空间位置,使后续处理集中于高权重区域。在具身视觉中,空间注意力使机器人能够聚焦于操纵目标、导航路标或交互对象,忽略背景干扰。

通道注意力则关注特征通道的重要性。深度网络的特征图包含多个通道,每个通道编码不同类型的特征(如边缘、纹理或语义信息)。通道注意力机制学习为不同通道分配权重,增强与当前任务相关的特征通道。这种机制在处理多模态感知时尤为重要,能够自动选择最可靠的感知通道。

空间注意力与通道注意力的结合形成了混合注意力机制。典型的实现采用顺序或并行的方式应用两种注意力:先使用通道注意力选择关键特征通道,再应用空间注意力定位关键区域;或分别计算两种注意力权重后进行融合。这种混合策略在视觉导航、物体抓取和场景理解任务中均显示出优越性。

9.2.3 自注意力与Transformer

自注意力机制通过计算特征之间的相互关系来捕获全局依赖。与卷积神经网络的局部感受野不同,自注意力允许每个位置直接关注所有其他位置,形成全局上下文感知。这种机制特别适用于需要理解场景整体结构的任务。

Transformer架构完全基于自注意力机制,通过多头注意力并行捕获不同类型的关系。在视觉领域,Vision Transformer将图像分割为序列化的图像块,应用自注意力建模块之间的关系。这种架构在图像分类、检测和分割任务中达到了与卷积网络相当或更优的性能。

在具身智能中,Transformer被用于视觉导航、多智能体协作和视觉语言任务。其优势在于能够建模长距离依赖,例如房间之间的空间关系、时间序列中的动作依赖或多模态特征之间的对应关系。然而,自注意力的计算复杂度与序列长度呈二次关系,这对资源受限的具身系统构成挑战。近期的研究通过稀疏注意力、线性注意力或分层注意力来降低计算成本。

9.2.4 跨模态注意力

跨模态注意力机制处理来自不同感知通道的信息融合。具身智能体通常配备多种传感器,如相机、激光雷达、触觉传感器和麦克风,跨模态注意力使这些异构数据能够在共同的空间中交互。

跨模态注意力的典型实现采用查询-键-值结构,其中一个模态的特征作为查询,另一个模态的特征作为键和值。通过计算查询与键之间的相似度,机制确定两个模态特征之间的对应关系,并基于相似度加权融合值特征。这种机制使智能体能够将视觉特征与触觉反馈对齐,或将听觉线索与视觉位置关联。

在自动驾驶场景中,跨模态注意力被用于融合相机图像和激光雷达点云。通过将点云投影到图像平面并计算跨模态注意力,系统能够利用图像的高分辨率纹理信息增强点云的语义理解,同时利用点云的精确深度信息补偿图像在远距离处的信息损失。实验表明,这种融合策略在远距离目标检测上显著优于单模态方法。

跨模态注意力融合

图9.5 跨模态注意力融合网络架构。RGB图像分支与点云分支通过跨模态注意力模块交互,实现视觉纹理与几何深度的互补融合。

9.3 好奇心与内在动机

内在动机驱动智能体在没有外部奖励的情况下探索环境,这种能力对开放世界学习至关重要。与依赖任务特定奖励的外在动机不同,内在动机源于智能体内部的学习需求,如减少预测误差、增加信息增益或扩展控制能力。

9.3.1 预测误差驱动的探索

预测误差是内在动机的基本形式,源于智能体对环境动态模型的预测与实际观察之间的差异。高预测误差表明智能体处于不熟悉的状态或发生了意外事件,这驱动智能体探索这些区域以改进其世界模型。

内在好奇心模块是预测误差方法的典型实现。该模块包含三个组件:特征编码器将原始观察压缩为紧凑表示,逆动力学模型预测导致状态转移的动作,前向模型预测下一状态的表示。前向模型的预测误差被用作内在奖励,激励智能体探索其预测能力较弱的区域。

预测误差方法面临"嘈杂电视"问题的挑战:在随机环境中,某些状态可能本质上是不可预测的(如电视雪花屏),导致智能体陷入无意义的探索。解决方案包括通过逆动力学模型学习仅编码与智能体动作相关的特征,过滤掉环境噪声;或使用集合模型估计认知不确定性,区分可学习的预测误差与固有随机性。

内在好奇心模块

图9.6 内在好奇心模块架构。通过逆动力学模型学习动作相关的特征表示,前向模型的预测误差作为内在好奇心奖励驱动探索。

9.3.2 信息增益与贝叶斯Surprise

信息增益方法将探索形式化为减少智能体对环境信念的不确定性。与预测误差关注状态预测准确性不同,信息增益关注智能体内部模型参数的更新幅度。当观察导致信念分布的重大更新时,智能体获得高信息增益。

贝叶斯Surprise是信息增益的度量,定义为观察后验分布与先验分布之间的差异。在强化学习中,这被实现为智能体观察到新状态后,其后验信念与先验信念之间的散度。高贝叶斯Surprise表明观察提供了关于环境的新信息,值得进一步探索。

潜在贝叶斯Surprise方法将计算从参数空间转移到潜在空间,提高了计算效率。该方法学习潜在动态模型,其中潜在变量捕获环境动态的不确定性。贝叶斯Surprise被计算为潜在后验与潜在先验之间的散度,驱动智能体寻找能够最大程度更新其潜在信念的状态。实验表明,该方法对随机性具有鲁棒性,能够避免"嘈杂电视"陷阱。

9.3.3 赋能(Empowerment)最大化

赋能是另一种内在动机形式,度量智能体通过其动作对未来状态的影响力。高赋能状态是指从该状态出发,智能体的动作能够可靠地产生多样化的未来结果。最大化赋能驱动智能体维持对其未来状态的控制能力。

赋能被形式化为动作序列与未来观察之间的互信息。这种互信息度量了动作中包含的关于未来状态的信息量,反映了智能体控制环境的能力。与预测误差方法不同,赋能关注智能体的控制能力而非预测能力,鼓励智能体探索能够产生可预测且多样化结果的状态。

在机器人操纵任务中,赋能最大化显示出独特优势。通过鼓励智能体维持对物体的控制能力,该方法促进了鲁棒的抓取和操纵策略学习。与稀疏外部奖励结合时,赋能作为密集内在奖励,显著提高了学习效率。

9.3.4 技能发现与选项学习

技能发现旨在自动识别可复用的行为模式,形成层次化策略的底层基元。在选项框架中,技能被建模为选项——包含启动条件、内部策略和终止条件的完整动作序列。选项学习使智能体能够在更高抽象层次上规划,提高复杂任务的学习效率。

变分选项发现方法通过最大化潜在变量与轨迹之间的互信息来学习技能。该方法训练最大熵策略编码器,将潜在上下文向量映射为轨迹,同时训练监督解码器从轨迹恢复潜在变量。这种自监督学习使智能体能够发现可区分且有用的行为模式,无需为每个技能手工设计奖励。

在多智能体协作场景中,技能发现面临额外挑战:个体技能必须对团队目标有用,技能空间随智能体数量指数增长,且技能必须在实际多智能体环境中而非孤立单智能体场景中发现。层次化多智能体强化学习方法通过低层独立学习技能、高层集中学习技能选择策略来解决这些挑战。实验表明,该方法能够在团队体育游戏中涌现出有意义的技能和人类水平的协调。

9.4 感知动作循环

感知动作循环描述了感知与动作之间的动态交互关系。与将感知和动作视为独立模块的传统观点不同,感知动作循环强调两者的相互依赖:感知指导动作选择,动作改变感知输入,形成闭环的动态过程。

9.4.1 感知引导动作

感知引导动作强调环境观察对运动控制的约束和引导作用。在视觉伺服中,视觉特征被直接映射为控制命令,实现从感知到动作的闭环控制。这种映射可以是直接的(如基于图像的视觉伺服)或间接的(如基于位置的视觉伺服)。

在更复杂的场景中,感知提供任务相关的状态估计,用于高层决策。例如,在导航任务中,感知模块估计当前位置、构建环境地图并检测障碍物,这些信息被用于路径规划和运动控制。感知的准确性和及时性直接影响动作的质量。

主动感知扩展了感知引导动作的概念,将感知动作本身纳入控制策略。智能体不仅决定如何行动,还决定如何观察。这种联合优化使智能体能够选择最有利于任务执行的观察策略,例如将相机对准操纵目标的关键特征,或调整视角以消除遮挡。

9.4.2 动作引导感知

动作引导感知强调运动对感知的主动塑造作用。通过控制感知器官的运动,智能体能够优化采样过程,获取对任务最有价值的信息。这种主动采样策略在生物视觉中广泛存在,如眼动、头动和身体移动对视觉输入的调节。

在机器人学中,动作引导感知体现为主动视觉策略。通过控制相机运动,机器人能够跟踪移动目标、消除遮挡、优化视角或探索未知区域。这种主动控制使机器人能够在信息获取成本和感知质量之间进行权衡。

动作引导感知还体现在感觉运动协调中。智能体的运动策略考虑了感知约束,例如保持目标在视野内、维持适当的观察距离或避免运动模糊。这种协调需要感知和动作系统的紧密耦合,而非简单的顺序处理。

9.4.3 感知-动作耦合的神经机制

感知-动作耦合的神经基础涉及多个脑区的协同工作。在哺乳动物中,感觉皮层处理感知输入,运动皮层生成动作命令,而小脑和基底神经节参与感觉运动协调。这些区域通过复杂的反馈连接形成闭环,支持实时的感觉运动整合。

在计算模型中,感知-动作耦合通过递归连接实现。感觉运动弧(sensory-motor arc)表示从感觉输入到运动输出的直接通路,而多感觉整合环路(multi-sensory integration loop)则整合多种感觉模态的信息,指导运动控制。这些环路的交互使智能体能够快速响应感觉事件,同时整合上下文信息做出适应性决策。

神经形态计算试图在硬件层面实现类似的感知-动作耦合。通过使用事件驱动传感器、脉冲神经网络和模拟计算电路,神经形态系统能够以极低的功耗实现实时的感觉运动处理,为资源受限的具身智能体提供了高效的计算范式。

9.4.4 感知动作循环的学习优化

感知动作循环的学习涉及多个时间尺度的适应。在最快的时间尺度上,智能体通过反馈控制实时调整动作以响应感知变化。在中等时间尺度上,智能体学习感知-动作映射,改进从观察到行动的转换。在最慢的时间尺度上,智能体发展新的感知策略和动作技能,扩展其感知运动能力。

端到端学习方法直接从原始感知输入学习控制策略,绕过显式的状态估计和规划。深度强化学习使智能体能够从经验中发现复杂的感知-动作策略,如从视觉输入直接映射到电机命令。然而,这种黑箱方法的可解释性和泛化性仍是挑战。

模块化方法将感知动作循环分解为可学习的组件,如特征提取、状态估计、策略选择和运动控制。这种分解使学习问题更易于处理,并允许在不同任务间复用组件。然而,模块间的协调和接口设计需要仔细考虑。

元学习方法使智能体能够快速适应新的感知-动作任务。通过在一组相关任务上学习,智能体获得关于如何学习的先验知识,从而在新任务上实现少样本学习。这种能力对需要在多样化环境中部署的具身智能体尤为重要。


本章小结

主动感知与注意力机制构成了具身智能体高效交互环境的基础。主动视觉通过控制感知器官的运动优化信息获取,信息论方法为感知动作选择提供了形式化框架,强化学习使智能体能够从经验中发现最优感知策略。注意力机制通过动态资源分配处理感知数据的复杂性,跨模态注意力实现了异构感知信息的融合。内在动机驱动开放世界的自主探索,从预测误差到赋能最大化的不同形式提供了多样化的探索驱动力。感知动作循环整合了这些机制,形成闭环的动态交互系统,支撑智能体在物理世界中的自适应行为。

Aloimonos, J., Weiss, I., & Bandyopadhyay, A. (1988). Active vision. International Journal of Computer Vision, 1(4), 333-356.

Ballard, D. H. (1991). Animate vision. Artificial Intelligence, 48(1), 57-86.

Bajcsy, R. (1988). Active perception. Proceedings of the IEEE, 76(8), 966-1005.

Borji, A., & Itti, L. (2013). State-of-the-art in visual attention modeling. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(1), 185-207.

Breyer, M., Furrer, F., Novkovic, T., Siegwart, R., & Nieto, J. (2022). Closed-loop next-best-view planning for target-driven grasping. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 6817-6824.

Burgess, C. P., Higgins, I., Pal, A., Matthey, L., Watters, N., Desjardins, G., & Lerchner, A. (2019). Understanding disentangling in β-VAE. arXiv preprint arXiv:1804.03599.

Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A simple framework for contrastive learning of visual representations. International Conference on Machine Learning (ICML), 1597-1607.

Deng, F., Chen, J., Shah, D., & Krishnamurthy, A. (2023). Planning to explore via self-supervised world models. International Conference on Machine Learning (ICML), 7913-7938.

具身智能创新架构解析(1):基于TVA与World模型的具身融合架构设计 本文提出的TVA与World模型融合架构,通过统一的注意力机制与物理一致性约束,成功解决了传统具身智能“感知与物理割裂”的结构性难题。实验证明,该架构显著提升了智能体的物理认知能力与任务泛化水平。未来,我们将进一步探索基于该架构的零样本迁移技术,推动具身智能向通用化、自主化方向迈进。 阅读详情

相关推荐

具身智能创新原理(96):融合物理常识嵌入与因果推理干预的TVA架构

本文针对具身智能跨场景迁移中的物理常识缺失问题,提出了融合物理常识嵌入与因果推理干预的TVA架构。通过理论构建与实验验证,得出以下结论:首先,物理常识嵌入机制有效弥补了数据驱动模型的归纳偏置不足,显著提升了模型对物理规律的遵循度。其次,因果推理干预机制赋予了智能体“反事实思考”的能力,使其在面对未知环境变化时具备更强的鲁棒性与适应性。最后,该架构在Sim-to-Real迁移中的优异表现,为具身智能在复杂多变的现实物理世界中的可靠运行奠定了坚实基础。

专注AI智能体前沿技术探索,为企业提质降本增效全面赋能! 551

你知道什么是引入主动式(proactive)感知方法吗

通过主动选择、获取和处理感知信息,机器人能够拥有更强大的感知与交互能力。未来,我们需要进一步研究和探索主动式感知的技术和应用,以实现更加智能和灵活的机器人系统。智能制造与物流:在工业制造和物流领域,主动式感知可以使机器人更加灵活地感知物料位置和状态,主动选择最佳的搬运路径和策略,提高生产效率和物流效益。主动提问与交流:机器人可以通过主动提问和与人类或其他机器人的交流来获取更多的环境信息,实现更加深入的感知。主动规划与决策:主动式感知使机器人能够根据感知结果主动进行规划和决策,更好地适应复杂和变化的环境。

KongDere的博客 899

具身智能算法评测:七大测试集的原理、选型与工业落地指南

具身智能算法是嵌入物理世界约束的闭环决策系统,其核心价值在于鲁棒性、安全性、泛化性与人类意图对齐,而非传统AI的单点准确率。它需协同处理感知、理解、规划与执行,输出带物理单位的动作指令流,因此评测必须基于结构化、多维度、具物理意义的基准。当前主流的七大测试集(如Ravens、ALFRED、BEHAVIOR-1K、Open-X Embodiment、RT-2 Bench、RealWorld-101、Ego4D Embodied)分别覆盖基础操作、跨任务泛化与真实世界鲁棒性三大层级,共同构成评估算法从仿真到产线

cuixie2370的博客 443

【文献笔记】用于UAV的深度强化学习语义主动感知Semantic

此项工作为无人机(UAV)提出了一个基于语义的路径规划流程,其使用深度强化学习在挑战性的环境中进行视觉导航。受语义分割方法日趋成熟的影响,所提出的路径规划结构使用强化学习通过语义信息来辨别场景中含有更多信息的部分,以求使无人机获得更加鲁棒、可重复、和准确的导航以抵达预定的目的地。假设无人机执行基于视觉的状态估计,如基于关键帧的视觉里程计和机载语义分割,所提出的深度策略网络(DQN)持续评估所观测的每个语义类的最佳相对感知信息量。

qq_36981023的博客 2470

告别CPU空转!用STC8的SPI+DMA高效驱动上百颗WS2812B灯珠

本文详细解析了如何利用STC8单片机的SPI+DMA外设高效驱动WS2812B全彩灯珠,解决传统软件延时驱动方式在长灯带应用中的性能瓶颈。通过硬件方案设计、数据格式转换和DMA传输配置,实现高达400Hz的刷新率和低于5%的CPU占用率,适用于大规模灯光项目。

weixin_30847939的博客 398

/proc/sys/vm/max_map_count耗尽时,调用glibc 2.11.3 free()导致程序crash,问题追踪和解决

1. 问题 在客户环境下,当我们的程序消耗较大内存时,会偶尔crash。 通过gdb分析,程序core dump在malloc/free函数内。 当把/proc/sys/vm/max_map_count 从65530增加到131070,程序再也不crash。 相关命令 echo 131073 > /proc/sys/vm/max_map_count 2.  core

万大胖博客,苦并快乐着 4430

Surprise-based intrinsic motivation for deep reinforcement learning

最近读论文一直没怎么写博客,以前读论文注重结论,现在转向了过程。 这篇论文,是看了一篇18年openai的论文里面的reference。17年的,比较新。 这篇论文主要涉及了一个内在R,用于在sparse state下更好的去和环境交互。 文中所有的P都是转移。 首先给出了优化函数: 也就是想最大化转移函数,f是正则函数。 L是在文章中定义为根据policy在有结束的情况下的e...

qq_36616268的博客 574

Apollo control模块横向控制原理及核心代码逐行解析

看完这篇文章,你会对apollo横向控制有一个整体的概念

weixin_39199083的博客 2万+

信息论——信息熵

机器人学中信息熵的简要概念解析

m0_57737058的博客 388

【python数据挖掘课程】二十八.基于LDA和pyLDAvis的主题挖掘及可视化分析

这是《Python数据挖掘课程》系列文章,前面很多文章都讲解了数据挖掘、机器学习,这篇文章主要讲解LDA和pyLDAvis算法,同时讲解如何读取CSV文本内容进行主题挖掘及可视化展示。文章比较基础,希望对你有所帮助,提供些思路,也是自己教学的内容。推荐大家购买作者新书《Python网络数据爬取及分析从入门到精通(分析篇)》,如果文章中存在错误或不足之处,还请海涵。 目录: 一.显示结果及安装 二.LDA主题挖掘 三.pyLDAvis可视化分析 四.小结

杨秀璋的专栏 1万+

3 路由引入

在大型企业网络中,网络规模十分庞大,选用单一的路由协议无法满足网络的需求,因此多种路由协议共存的情况十分常见。或者出于业务逻辑或行政管理的考虑,会在不同的网络结构中设计和部署不同的路由协议,使路由的层次结构更加清晰可控。路由引入是具有方向性的,将路由信息从路由协议A引入到路由协议B(A-to-B),则路由协议B可获知A中的路由信息,但是此时,A还并不知晓B路由协议中的路由信息,除非配置B-to-A的路由引入。表3-1:各种路由协议的优先级。通过路由引入,可以实现路由信息在不同路由协议间传递。

lwljh134的博客 622

具身感知篇(二):让机器人类人

是一种新兴的机器人技术,它让机器人在与物理世界交互的过程中,像生物一样通过自身的“身体”来感知和理解环境。这与传统的机器人感知方式有很大的不同,后者通常依赖于静态的传感器,比如摄像头和激光雷达,来被动地收集数据。这是具身感知的核心。总之,具身感知技术正在让机器人从单纯的“看世界”转变为“与世界互动”,这不仅是技术上的突破,更是对人工智能和机器人学未来发展方向的深刻探索。它认为,机器人不应该仅仅是环境的旁观者,而是应该通过主动的、有目的的运动来探索世界,从而获取更丰富、更深层次的感知信息。

m0_38125650的博客 581

C2f-DCN模块详解:可变形卷积与特征融合的完美结合

C2f模块作为YOLOv8的核心创新,代表了目标检测特征提取模块设计的最新进展。通过精简的卷积配置(仅2个基础卷积)、高效的特征重用设计(部分通道分割复用)、以及深层语义与浅层细节的协同建模能力,C2f在结构设计和性能表现上全面超越了前代的C3模块。与C3K2、C3K等变体相比,C2f在遮挡和密集环境下的检测鲁棒性更优,而C3K2和C3K分别在高速检测和多尺度检测方面有专门优化。这种差异化设计反映了YOLO系列模型向场景化、专业化发展的趋势。从设计原理角度看,C2f的核心优势在于其多路径梯度流动优化和。

浩瀚之水的专栏 380

具身智能:原理、算法与系统

本专栏系统介绍具身智能的理论、算法与实践,构建从感知到行为的完整知识体系。内容分为四部分:基础理论阐述具身认知的历史与框架;感知技术涵盖视觉、触觉等多模态感知;认知与推理探讨世界模型、因果推理等前沿方法;行为生成实现决策到执行的闭环。专栏结合大型语言模型与机器人学最新进展,为研究者和工程师提供系统性指南,推动物理智能与认知架构的融合发展。

VectorShift的博客 1817

BUCK-BOOST升降压电路Multisim电路仿真分析

本文分析了三极管型BUCK-BOOST升降压开关电源的工作原理。该电路结合了BUCK降压和BOOST升压拓扑,通过控制三极管Q1的高频通断,使电感L1周期性储能和释能,实现输出电压可高于或低于输入电压且极性相反。详细阐述了Q1导通和关断阶段的工作过程,推导了输出电压与占空比的关系式Vo=-D/(1-D)*Vi,并分析了不同占空比下的工作模式(降压、升压)。通过Multisim仿真验证了理论分析,当D=25%时输出降压至1.6V,D=60%时输出升压至7.5V。电路具有升降压灵活、极性反转、效率高等特点,适用

XU157303764的博客 1437

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

具身智能:原理、算法与系统 系列文章

具身智能:原理、算法与系统》是一部系统阐述具身智能理论与技术前沿的30章深度专栏。从认知科学的具身性转向出发,贯通神经科学、机器人学与人工智能的交叉脉络,构建"感知-认知-行为"三位一体的理论框架。内容涵盖视觉-触觉-听觉多模态感知、世界模型与因果推理、神经符号AI、运动控制与操作技能、人形机器人系统架构等核心技术,并深入探讨持续学习、安全对齐、集体智能等前沿议题。

VectorShift的博客 711

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

具身智能创新原理(75):一种融合风险感知与防御机制的协同架构研究

本文针对具身智能在安全防护方面的不足,提出了融合风险感知与防御机制的TVA架构。通过理论构建与实验验证,得出以下结论: 首先,风险感知模块有效提升了系统对潜在威胁的识别能力。 其次,防御网络显著增强了系统的抗干扰与自修复能力。 最后,该架构在安全测试中的优异表现,为具身智能从“功能优化”迈向“安全增强”奠定了关键技术基础。展望未来,安全增强将向“自主进化”发展。未来的研究将聚焦于让智能体通过自我学习与反馈机制,实现对未知威胁的自主识别与防御,进一步提升系统的智能化水平与泛化能力。

专注AI智能体前沿技术探索,为企业提质降本增效全面赋能! 739

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

具身智能“原生大脑”原理概述(42):构建原生大脑结构化的注意力机制

本文系统研究了TVA架构在非结构化环境中的注意力机制与动态适应性。研究表明,TVA具身架构通过融合Transformer的多头自注意力与因式分解算法(FRA),构建了结构化的注意力机制。这一机制不仅有效解决了非结构化环境中的信息冗余与干扰问题,更为World模型的精准推演与VLA模型的跨模态对齐提供了高信噪比的状态表征。本研究论证了动态注意力机制是构建具身智能大脑“原生大脑”雏形不可或缺的感知基石,为科学机器学习(SciML)范式下的具身系统设计提供了重要理论支撑。

专注AI智能体前沿技术探索,为企业提质降本增效全面赋能! 197

具身智能“原生大脑”原理概述(37):构筑具身原生大脑的视觉感知中枢

本文系统解析了TVA具身架构中视觉中枢的底层机制,详细论述了Transformer与CNN的混合编码、因式分解算法(FRA)的状态解耦作用,以及其与World模型和VLA模型的协同机制。研究表明,TVA视觉中枢通过融合多尺度网络架构与因式智能体理论,成功实现了非结构化环境下的高效动态感知与状态解耦。这不仅为深度强化学习提供了低维紧凑的表征空间,更为World模型的长时序推演和VLA模型的跨模态对齐奠定了坚实基础。从底层视觉机制的维度,本文进一步验证了TVA架构作为具身智能“原生大脑”雏形的科学性与前瞻性。

专注AI智能体前沿技术探索,为企业提质降本增效全面赋能! 1587

具身智能创新原理(115):一种融合风险感知与安全屏蔽的TVA架构

本文针对具身智能安全交互中的风险忽视问题,提出了融合风险感知与安全屏蔽的TVA架构。通过理论构建与实验验证,得出以下结论:首先,动态安全势场与危险源注意力机制赋予了智能体主动感知与预测风险的能力。其次,基于CMDP的安全屏蔽机制从底层逻辑上杜绝了危险动作的执行,提供了可验证的安全保障。最后,该架构在保证安全性的同时,并未显著牺牲任务效率,证明了其在实际应用中的可行性。

专注AI智能体前沿技术探索,为企业提质降本增效全面赋能! 122

从万元婴儿床看具身智能:感知决策闭环与工程实践

具身智能是近年AI落地的重要方向,它让机器在物理世界中完成感知、决策与执行的全闭环。与传统的“遥控式”智能硬件不同,具身智能系统依赖多模态传感器融合、实时控制与安全冗余机制,因此对工程化能力要求极高。从技术价值看,这类系统能应对动态环境与复杂任务,广泛应用在机器人、智能家居、康养监护等领域。本文以一款高价智能婴儿床为切入点,拆解其背后的传感器布局、决策控制逻辑、数据清洗流程与安全设计,并通过Python代码展示一个最小可运行的感知-决策-执行原型,同时介绍仿真工具、ROS、Rust在实时控制层的作用,帮助开

weixin_34319374的博客 469

具身智能“原生大脑”原理概述(总论):基于TVA与FRA架构的具身大脑工作原理

本文针对具身智能系统中感知与决策深度耦合的难题,系统性地阐述了TVA智能体在构建“原生大脑”过程中的架构设计理论。研究表明,TVA具身架构通过融合Transformer、CNN与因式分解算法,构建了强大的非结构化环境感知中枢;通过“感知-推理-决策-操作-反馈”的闭环机制,实现了SciML范式下的端到端学习;借助World模型的内部推演与VLA模型的跨模态对齐,确立了其作为具身智能系统“原生大脑”雏形的理论地位。从“品控专家”到“原生小脑”再到“原生大脑”的演进路径,充分展现了该架构的通用性与前瞻性。

专注AI智能体前沿技术探索,为企业提质降本增效全面赋能! 2702

具身智能体记忆系统:神经符号融合与动态接地技术解析

在人工智能领域,记忆系统是实现智能体持续学习和环境交互的核心基础。传统方法常面临符号接地问题与感知数据难以结构化等挑战,其原理在于符号AI与神经AI在表示和推理上存在固有隔阂。神经符号AI技术通过融合神经网络的感知能力与符号系统的逻辑推理,为解决这一难题提供了关键路径,其技术价值在于构建可解释、可推理且能适应动态环境的记忆体系。在机器人、虚拟数字人等交互环境中,这种记忆系统能支持复杂任务规划、情境化对话与经验学习等应用场景。本文以Mimir记忆系统为例,深入探讨了神经符号记忆如何通过动态接地机制,使智能体在

weixin_30699955的博客 292

“TVA-世界模型”引爆具身智能产业化奇点(系列综述)

摘要:具身智能面临的核心挑战是如何让智能体在复杂动态环境中实现类人的感知与适应能力。TVA(Transformer-based Vision Agent)通过自注意力机制和因子分解算法,构建任务驱动的主动感知与决策闭环;而世界模型则建立环境状态转移的内部模拟器,支持预测和规划。二者的深度融合形成"感知-建模-推演-决策-验证"超级闭环,解决了传统系统的模块割裂、虚实脱节和实时性差等问题。这种"模型预测型"新范式赋予智能体跨场景泛化、因果推理和持续进化的能力,为通用物理

专注AI智能体前沿技术探索,为企业提质降本增效全面赋能! 2999

具身智能“原生大脑”原理概述(38):构筑原生大脑的通用视觉技术底座

本文系统研究了TVA具身架构中CNN与Transformer特征融合的非结构化动态感知方法。研究表明,通过CNN的局部几何提取与Transformer的全局时序建模的深度融合,并结合因式分解算法(FRA),TVA视觉中枢成功突破了非结构化环境的感知瓶颈。这一融合机制输出的高信噪比结构化因子,为World模型的精准推演与VLA模型的跨模态动作生成提供了核心支撑,从而夯实了具身智能系统“原生大脑”的视觉基石。

专注AI智能体前沿技术探索,为企业提质降本增效全面赋能! 1648
上一篇: 具身智能:原理、算法与系统 第8章 听觉与其他感知模态
下一篇: 具身智能:原理、算法与系统 系列文章
VectorShift
博客等级 码龄1年 1843粉丝 1109原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

VectorShift

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值