- 博客(440)
- 收藏
- 关注
RSS订阅原创 Nature Communications上交、西湖大学、复旦大学研发面向机器人多模式运动的去电子化刚弹耦合高频自振荡驱动单元
图3. 振荡器设计与驱动原理流体振荡单元的响应过程涉及多种力学机理的耦合作用，为了简化系统的频率特性预测模型，本研究基于电路等效的思想，根据驱动腔、弹性梁和换向阀三个单元各自的物理特性，将其等效为相应的电子元件，从而建立系统的频率预测模型。实验表明，机器人的运动性能与驱动频率、起跳角度、跳跃步长和滞空时长占比有关，通过优化机器人的双腿安装角度和驱动频率，最终实现了高达5.1倍体长每秒的机器人最大运动速度，该速度不仅远超现有去电子化气动机器人，同时也领先于使用电磁阀门的气动机器人。
2025-04-03 10:52:39
451
原创 Science正刊：完全运动自由度的执行器作为高级触觉接口
例如，命令将手向上移动时，对于中立手势，会产生x方向的正触觉刺激，而对于掌心朝下的手则转化为z方向的刺激（图4B）。这种方法可以产生正常、剪切、扭转和振动等不同类型的机械刺激，激活皮肤上的不同类型的机械感受器，达到高精度的触觉反馈。在示例中，音乐中的人声、电吉他和鼓被转化为触觉振动，测试结果表明，触觉界面能够通过单个执行器感知到不同音调的振动，并识别不同乐器（图5C）。通过在人类受试者的感知研究中，展示了在扩展现实应用中的具体效果，包括先进的手部导航、逼真的纹理重现以及音乐感知的感觉替代。
2025-03-31 10:59:09
613
原创 华南师范大学研究团队提出基于接触界面分析的视触觉感知策略
基于深度神经网络模型，可用于基于视觉的触觉传感器获取的接触界面图像中分析接触物体的运动信息。为了评估视触觉传感系统在识别接触信息方面的性能，该研究验证了系统的静态接触状态分析能力，还通过案例展示了其在实时动态运动行为检测任务中的潜力。为了验证系统的触觉感知能力，该研究通过视触觉系统成功区分不同尺寸、硬度的球体在不同运动速度下的运动图像。综上所述，基于视觉的触觉感知方案具有高精度等特性，可适用于精细且复杂的触觉识别任务，广泛应用于人机交互、机器人触觉感知等多个领域。
2025-03-28 08:49:25
235
原创 大模型发展史！从Transformer（2017）到DeepSeek-R1（2025）！
2025年初，国内推出了一款开创性且高性价比的「大型语言模型」（Large Language Model, LLM） — — DeepSeek-R1，引发了AI领域的巨大变革。本文回顾LLM的发展历程，以2017年具有革命性意义的Transformer架构为起点。1.1 大型语言模型（LLMs）「语言模型」（LMs）和「大型语言模型」（LLMs）这两个术语虽然经常被互换使用，但实际上它们基于规模、架构、训练数据和能力指代不同的概念。LLMs 是 LMs 的一个子集，其规模显著更大，通常包含数十亿个参数（
2025-03-27 13:02:44
563
原创 Advanced Materials 自然界中的摩擦学:对先进润滑材料的启示
2.2.化学成分介导的润滑图3. 涉及的主要润滑机制是由粘液或黏液中存在的生物大分子介导的。d)各向异性聚合物刷与韧性水凝胶的复合材料中在沿T//T和T⊥T方向的不同法向载荷下的COF。g)在不同的滑动循环下，在施加的50 kPa的法向载荷下，不同薄膜的COF。内容主要包括用于缓解润滑失效的仿生润滑剂、用于不同接触界面的仿生水凝胶、聚合物刷修饰的仿生润滑表面和其他软物质仿生润滑材料。经过数十亿年的发展，天然润滑展现出非凡的专业性、高效性、耐久性和智能性，为设计先进的润滑材料提供了宝贵的见解。
2025-03-26 10:52:05
774
原创 Nature Machine Intelligence 嵌入式大语言模型使机器人能够在不可预测的环境中完成复杂的任务
近期英国爱丁堡大学发表Nature Machine Intelligence研究工作，提出了一种名为ELLMER（具身大型语言模型支持机器人）的创新框架，通过整合大型语言模型（如GPT-4）、检索增强生成（RAG）、视觉和力反馈，使机器人能够在动态环境中完成复杂的长期任务。动态代码生成：LLM结合检索到的示例生成可执行的Python代码，适配当前环境（如杯子的位置）。知识库检索：通过RAG从预定义的代码库中检索相关动作示例（如“如何倒水”）。：调整动作的力度（如倒水的精确控制）。检索增强生成（RAG）
2025-03-25 19:49:01
641
原创 Science Advances “刚柔并济”的仿生假肢机械手-实现精准抓取和表面纹理识别
人类的手部采用混合结构，通过结合软硬组织特征，既保证了抓握的力度又具备适应能力，从而实现多功能的物体抓取。该设计充分发挥软体与刚性机器人的协同优势，使混合机械手能够自适应抓取多种不同表面纹理、重量和软硬度的日常物品，并以99.69%的平均分类精度实现物体识别。在纹理辨别测试中，搭载多层触觉传感系统的混合机械手达到98.38%的平均分类准确率，显著超越传统软体机器手和刚性假肢手指。通过肌电信号控制，这款革命性假肢能帮助上肢缺失患者实现柔性物体的精准抓取，并同步完成表面纹理的智能识别。图5 纹理分类准确性。
2025-03-21 10:16:53
129
原创 ICRA 2025 面向移动抓取的全身控制新范式——让机器人在移动与操控之间动态平衡
针对这一问题，我们在ICRA 2025上提出了一种全新的“EHC-MM”（Embodied Holistic Control for Mobile Manipulation）框架，它通过sig(ω)控制函数，系统性地表达了不同功能部分（如移动底座、机械臂和摄像头）在执行任务时的动态侧重关系，使机器人能够根据当前状态智能调整运动与操控的优先级，大幅提升移动抓取任务的成功率与效率。背景：移动抓取的挑战移动抓取涉及底盘（提供移动能力）、机械臂（执行精细操作）和摄像头（提供视觉感知）等多个部分的协同工作。
2025-03-20 09:18:46
756
原创 ICLR 2025 AnyTouch视触觉感知的一统！人大、北邮等团队解视触觉感知统一难题，模型代码数据集全开源，欢迎关注博主参与工作
其中，由于具有与人类皮肤相匹配的高分辨率，视触觉传感器展现出了巨大的潜力。图2 动静结合的多传感器统一触觉表征学习框架AnyTouch为了适应不同的触觉场景的感知需求，AnyTouch 采用了多层级架构，分阶段提升模型的触觉感知能力，在第一阶段中关注像素级的触觉细节，而第二阶段则学习传感器无关的语义级特征，使AI能更全面地理解和处理触觉信息：Ÿ 掩码图像/视频建模（阶段1）：为增强触觉感知模型的细粒度感知能力，本框架采用掩码自编码器（MAE）技术，训练模型在多种传感器的数据输入中捕捉像素级细节。
2025-03-19 09:21:55
696
原创 斯坦福大学李飞飞教授团队「具身智能」最新研究：机器人接手所有家务
然后，它移动到游戏桌（子任务 3）收集碗（子任务 4）。WB-VIMA 的一个关键见解是，机器人关节之间存在强烈的相互依赖关系 —— 上游链接（例如躯干）的小幅移动可能会导致下游链接（例如末端执行器）的大幅位移。为了确保所有关节之间的精确协调，WB-VIMA 将下游组件的动作预测条件化于上游组件的预测，从而实现更同步的全身运动。机器人先是导航到客厅中的垃圾袋旁边，将其捡起（子任务 1），然后将垃圾携带到一扇关闭的门前（子任务 2），打开门（子任务 3），移动到室外，并将垃圾袋放入垃圾桶（子任务 4）。
2025-03-19 09:17:16
919
原创 ICLR 2025 机器人智能灵巧操作更进一步DexTrack
通过交替地使用高质量的轨迹跟踪数据辅助通用轨迹跟踪控制器的学习，以及借助通用轨迹跟踪器来提高单一轨迹跟踪演示的质量，我们可以逐渐得到一个强大的可以跟踪各种各样轨迹的控制器（图 3）。我们设计了两个策略来提高单一轨迹跟踪演示的质量，1）借助通用轨迹跟踪器来初始化单一轨迹跟踪策略的学习，2） 借助 homotopy optimization 的方式，通过解决一系列的优化任务来降低特定轨迹跟踪任务优化的难度（图 4）。我们的研究对运动轨迹中的噪声比较鲁棒，也可以泛化到从来没有见过的物体的种类以及运动的类别上。
2025-03-19 08:57:26
911
原创 华南师范大学研究团队在视触觉感知数据生成模型的研究中取得进展
该方法对于不同类型的基于视觉的触觉传感器具有很高的可泛化性，可以通过真实数据的引入来适应不同类型的传感器。针对这一问题，华南师范大学光电科学与工程学院李昕明团队提出了一种跨模态视触觉数据仿真生成模型及模型训练装置，该技术融合注意力机制的跨模态视触觉数据生成模型，通过提升数据真实感和细节丰富度，提高机器人触觉传感器仿真及触觉渲染的效果（相关技术已获国家发明专利）。基于此研究基础，李昕明团队进一步提出基于接触条件引导的扩散模型，从真实数据出发，生成高保真的触觉图像，并提升仿真在不同接触条件下的适应性。
2025-03-18 10:12:36
390
原创 综述：人形机器人运动与操控的最新突破与挑战
单位：乔治亚理工学院，南加州大学，慕尼黑工业大学，谷歌DeepMind，人工智能研究所，人机认知研究所，杜克大学，斯坦福大学，法国国家科学研究中心-蒙彼利埃大学，CNRS-AIST联合机器人实验室，西蒙弗雷泽大学，德克萨斯大学奥斯汀分校，NVIDIA，卡内基梅隆大学，哈尔滨工业大学论文标题：Humanoid Locomotion and Manipulation: Current Progress and Challenges in Control, Planning, and Learning论文链接：h
2025-03-18 10:11:34
484
原创 华南师范大学研究团队提出基于图像序列的视触觉信息融合策略
研究提出的策略在频域中对触觉图像在特征对齐后进行小波变换以分离不同特征的数据，对包含精细边缘信息的高频部分采用基于显著性分析的权重融合，以在序列中提取出局部信息量最大的触觉数据，结合通过平均融合的低频信息后整合和还原得到融合触觉图像。综上所述，该研究提出的策略能够在一定程度上克服视触觉传感器曲面接触结构引起的数据应用和触觉行为解析局限，通过触觉图像序列的方式使得策略具有更强的通用性和泛化能力，有潜力在大面积复杂触觉检测和类指尖的精密接触传感中具有应用潜力。
2025-03-17 10:49:41
384
原创 IEEE TRO 清华大学徐静教授团队提出基于无透镜成像的超薄视触觉传感器ThinTact
图4展示了三个代表性的场景：第一行为纯白图像，第二行为从一个传统的 GelSight 传感器捕获的图像，第三行为 USAF-1951 分辨率板的图像（经过了一定的拉伸以适应无透镜相机的视野）。触觉传感器的低厚度限制决定了需要使用近距离成像的T2S模型，而T2S模型难以解析求解，需要反复的迭代和大量的矩阵运算才能得到最终的结果，且收敛的判断条件较难调节。当物体接触传感器时，传感表面发生形变，为实时高效重建，作者提出一种新型非迭代重建算法，其速度比基于优化的重建算法快约1000倍。图3 非迭代无透镜重建算法。
2025-03-17 10:47:58
811
原创 Advanced Intelligent Systems 软体机器手助力截肢者玩转鼠标
该软体肌电假肢手旨在通过灵巧的软体手指和“一对多”映射的肌电交互接口，提高截肢者使用假肢手操作物理鼠标的任务性能和用户体验。此外，软体假肢手系统的设计不仅提高了截肢者与计算机交互的灵活性与友好度，还展示了低位截肢者通过假肢手直接操作物理鼠标的可行性，强调了为截肢者提供更广泛的可供性选择以提高假肢设备的接受度。实验结果表明，采用作者设计的软体假肢手系统进行鼠标操作时，用户的任务完成时间显著缩短，展现出更高的操作效率和更低的肌肉使用率，整体任务表现和用户体验均优于传统的肌电控制鼠标方法（图2）。
2025-03-16 09:30:04
871
原创 具身沟通——机器人和人类如何通过物理交互进行沟通
人们擅长适应和开发新的沟通协议，因此，我们应该更多地关注 pHRI 中具身沟通的涌现，而不是复制熟悉的 pHRI 沟通规范。在某些场景中，它可以提供反馈。尽管这种具身沟通方式能够在特定任务的限制内实现成功的协作，但在无法预测的场景中进行有效的协作将需要人机对话——即基于协作伙伴的心理模型和交互历史进行的多模态信息交换——并且安全地融入间歇性物理接触。1. 持续适应和安全保证： 随着数据驱动方法的学习能力的不断提高，我们需要更多的可证明的安全界限，这些安全界限不会不必要地约束人机交互或限制整体性能。
2025-03-15 16:06:33
531
原创 具身智能最新万字综述：形态、行动、感知与学习的协同效应
论文标题：Embodied Intelligence: A Synergy of Morphology, Action, Perception and Learning论文链接：https://dl.acm.org/doi/pdf/10.1145/3717059出版信息：ACM COMPUTING SURVEYS - 2025主要贡献论文提出了统一的具身智能框架，强调形态、动作、感知和学习之间的协同作用。该框架不仅关注这些组件的独立性，更注重它们之间的相互联系。对现有的具身智能研究进行了全面的综述和分类，提
2025-03-15 16:04:50
605
原创 Science Robotics 利用机器学习进行鳐鱼的仿生设计
鉴于这些限制是与尺度相关的，如雷诺数（Re），这就产生了自然运动缩放定律，该定律根据生物体的大小和身体运动学来决定其游泳速度 ，通常较大的生物体比较小的生物体游得更快。受自然存在的鳐形目鱼类（如鳐鱼和魟鱼）的启发，在此，我们将软体机器人生物混合魟鱼与机器学习相结合，以优化毫米级长度下快速游泳的魟鱼鳍片几何形状。按照这些设计，我们随后用工程化心肌组织制造了生物混合小型魟鱼，它们能够在毫米级长度上实现自主游泳，并且与以往的仿生设计相比，在自然运动缩放定律方面表现出更高的游泳效率。
2025-03-14 11:09:33
462
原创 Science Advances 视触觉传感机制的交互装置，可以实时测量来自手不同部位的分布力
在最近的一项研究中，香港科技大学的科研团队通过引入“数字通道”的概念，在分布力的接触位置上生成可辨别的时序数字信号，解决了多点大面积复杂接触问题，并提出了一种以手为中心的触觉交互系统（PhyTac，图2与图3）。图1 基于液压、气压和机械弹簧原理的握力计近几个世纪，基于液压、气压和机械弹簧原理的握力计是评估人手施加的力的常用方法，但它们只能提供最大力的信息，缺乏空间和时间的细节分布（图1）。“数字通道”概念的引入，可以准确识别复杂接触的位置，从而准确解码大面积接触问题中的分布力。详细视频于视频S5中展示。
2025-03-13 10:08:17
593
原创 IEEE ICRA : “触觉感知+动作分解优化“ 零预训练实现任意物体手内重定向操作
清华大学自主机器人实验室提出了一种基于触觉反馈的实时优化框架，将复杂动作拆解为可在线优化的基础动作，使夹爪无需预训练即可成功实现不同物体的重定向过程。因此，需通过动作分解与实时优化实现动态平衡。02方法介绍研究团队提出一种“目标分析-动作分解-在线优化”框架，将重定向任务拆解为“驱动旋转”与“避免滑移”两类基础目标，基于触觉反馈定义可叠加的子动作，并通过实时梯度优化动态更新动作。动作的分解提供了高维且连续夹爪动作空间的一种简化表征方式，显著降低动作探索与优化所需的计算资源，保证重定向过程中动作的实时调整。
2025-03-12 11:08:49
714
原创 视觉-触觉-动作预训练与目标理解相结合，实现类人的双手操作
25年1月来自浙江大学的论文“VTAO-BiManip: Masked Visual-Tactile-Action Pre-training with Object Understanding for Bimanual Dexterous Manipulation”。由于手的自由度高且需要协调，双手灵巧操作仍然是机器人技术中的重大挑战。现有的单手操作技术通常利用人类演示来指导 RL 方法，但无法泛化到涉及多个子技能的复杂双手任务。VTAO-BiManip，是一个新框架，它将视觉-触觉-动作预训练与目标理解相
2025-03-11 10:17:40
312
原创 梁文锋携DeepSeek团队丢出注意力新机制重磅论文
计算成本高昂，延迟成为问题， 如何在保证模型性能的同时，提升长文本处理的效率，成为了亟待解决的难题稀疏注意力应运而生，它被认为是提升效率，同时维持模型能力的有希望的方向。这种策略既能保证模型对全局上下文的感知，又能兼顾局部信息的精确性2.两大关键创新：算术强度平衡的算法设计与硬件优化： NSA 通过精巧的算法设计，并针对现代硬件进行了实现优化，显著提升了计算速度端到端可训练： NSA 支持端到端训练，这意味着它不仅在推理阶段高效，还能减少预训练的计算量，同时不牺牲模型性能！
2025-03-11 10:14:44
902
原创 华南师范大学研究团队在视触觉感知数据生成模型的研究中取得进展
基于此研究基础，李昕明团队进一步提出基于接触条件引导的扩散模型，从真实数据出发，生成高保真的触觉图像，并提升仿真在不同接触条件下的适应性。该方法对于不同类型的基于视觉的触觉传感器具有很高的可泛化性，可以通过真实数据的引入来适应不同类型的传感器。针对这一问题，华南师范大学光电科学与工程学院李昕明团队提出了一种跨模态视触觉数据仿真生成模型及模型训练装置，该技术融合注意力机制的跨模态视触觉数据生成模型，通过提升数据真实感和细节丰富度，提高机器人触觉传感器仿真及触觉渲染的效果（相关技术已获国家发明专利）。
2025-03-10 10:26:30
314
原创 Science Advances 多功能粘性皮肤增强了机器人与环境的交互
当前用于机器人技术的电子皮肤的功能能力尚不完善，因为它们主要模仿自然皮肤的感知功能，而往往缺乏诸如粘附等专业功能。在传感应用中，过度的粘附可能干扰信号检测。创新点新加坡南洋理工大学K. Jimmy Hsia教授、王一凡教授课题组联合清华大学高华建教授和湖南湘潭大学王秀锋教授团队报告了一种多功能、通用的机器人粘附皮肤，采用可调的形状记忆聚合物，具有可调的橡胶-玻璃相变特性。作者的粘附皮肤的粘附强度可以从最小值（约1千帕斯卡）调整到用于感知和处理超轻物体的状态，至超强度（超过1兆帕斯卡），用于拾取和提升重物。
2025-03-09 12:11:12
501
原创 Science Robotics 最新封面：东京大学提出仿生肌肉发育新机制，设计了一种生物混合手
当然不是磨刀霍霍向人体，研究团队使用了经过预筛选的人体骨骼肌细胞，配上了一份"秘制配方"：Matrigel、培养基、纤维蛋白原、凝血酶等成分组成的特制水凝胶。有趣的是，这些体外培养的肌肉组织表现出了和真实肌肉惊人的相似性。此外，研究人员还发现了一个有趣的现象：当MuMuTA中的肌肉组织数量达到3根以上时，手指就能达到接近最大的弯曲角度。通过免疫荧光染色，研究人员看到了这样的画面：培养8天后的肌肉组织中，α-actinin和actin已经形成了清晰的条纹状分布，说明肌肉细胞已经形成了成熟的收缩单元。
2025-03-06 16:09:27
609
原创 RoboBERT：减少大规模数据与训练成本，端到端多模态机器人操作模型（西湖大学最新）
写在前面&出发点具身智能融合多种模态，使智能体能够同时理解图像、语言和动作。然而，现有模型通常依赖额外数据集或大量预训练来最大化性能提升，这耗费了大量训练时间和高昂的硬件成本。为解决这一问题，我们提出RoboBERT，这是一种新型的端到端机器人操作模型，并结合了独特的训练策略。该模型利用基于卷积神经网络（CNN）的扩散策略，通过分离不同模态的训练过程，提高并稳定了模型的有效性。同时，我们强调数据增强的重要性，验证了多种技术能显著提升模型性能。与依赖额外数据或大型基础模型的模型不同，RoboBERT仅使用带
2025-02-18 22:25:10
1045
原创 Science Advances 基于折纸工艺利用可降解纤维素薄膜开发了一种可持续性闭环控制机器人系统
为了解决机器人制备过程中对于环境的负面影响，研究者们开始开发可回收或可降解凝胶用于构筑软体机器人，但是所构筑的软体机器人通常只具有单一的驱动或传感功能，并且由于凝胶材料力学性能的限制，所构筑的机器人的性能通常较差。图3. 纤维素薄膜增塑效应评价甘油是一种无毒的增塑剂，将其引入纤维素薄膜中会导致纤维素分子链和甘油之间形成较强的氢键相互作用，抑制纤维素水凝胶在干燥过程中分子链的重结晶，从而软化了纤维素薄膜的物理交联网络，拉伸过程中纤维素纳米纤维的明显拉出效应，使得薄膜的断裂能较增塑前提升超过70%（如图3）。
2025-02-11 09:23:00
700
原创 一种基于视觉触觉传感的盲文检测系统
盲人科学家——Geerat J. Vermeij，他于1968年和1971年先后从普林斯顿大学和耶鲁大学获得学士及博士学位；1992年荣获麦克阿瑟“天才奖”(MacArthur Fellow)；2000年荣获美国科学院颁发的“Daniel Giraud Elliott” 奖。从他的励志故事中我们看见了视障人士在科研道路的艰辛与不易。依靠手指触觉“深刻观察”海贝的美国盲人科学家1. 研究背景在当今社会，信息获取和知识传播已成为推动个人成长与社会进步的重要工具。尽管信息技术的飞速发展使知识获取的途径变得多元，
2025-02-10 10:34:22
968
原创 Nature Machine Intelligence 提出了LEGION的机器人终身强化学习框架
然而，当前基于深度强化学习的人工智能系统虽然在特定任务上表现出色，但在面对持续的任务流时，往往会出现“灾难性遗忘”问题，即当智能体学习新任务时，神经网络的参数会被新数据覆盖，导致其遗忘先前学到的技能。该框架通过结合贝叶斯非参数模型和语言嵌入技术，使机器人能够在持续的任务流中不断积累知识，并且能够通过结合和重新应用已掌握的知识，解决复杂的长期任务。通过这种分阶段的训练和部署，LEGION框架不仅能够在仿真环境中高效学习，还能在真实世界中灵活应用所学知识，展示了其在复杂任务中的强大适应能力。
2025-02-08 18:02:05
1332
原创 CMU 英伟达机器人跳APT舞惊艳全网，科比C罗完美复刻！
对于简单级别，ASAP在IsaacSim（Eg-mpjpe=106和Empjpe=44.3）和Genesis（Eg-mpjpe=125和Empjpe=73.5）中都达到了最低的Eg-mpjpe和Empjpe，同时具有最小的加速度（Eacc）和速度（Evel）误差。为解决这一问题，在后训练阶段需要收集真实世界的运行数据，包括本体感知状态，以及由动作捕捉系统记录的位置信息。具体来说，他们研究了数据集大小、训练时域和动作范数权重的影响，评估它们对开环和闭环性能的影响，如下图10所示，给出了所有因素下的实验结果。
2025-02-07 21:15:01
868
原创 Nature Biomedical Engineering BCI控制能力的新突破：FENet神经网络特征提取
结果发现，FENet在不同时间段、脑区、参与者和电极之间呈现出显著的泛化能力，也就是，即使神经信号随各类因素显著变化的情况下，FENet也能保持相对稳定的解码表现。当前BCI面临设计无约束性的问题，包括有限且昂贵的训练数据、低信噪比的预测特征、复杂的时间动态、非线性的调谐曲线、以及神经信号的不稳定性等。结果发现，FENet在区分手指动作和提高解码能力方面具备显著的优势，FENet在手指网格任务中保留了排序神经元群体的表征结构和动态，同时减少了与动作相关的干扰因素的影响。Fig5. 特征提取技术的比较。
2025-02-05 09:18:38
445
原创 Science Robotics顶刊发表 冲绳科学技术研究所揭秘机器人语言行为组合性发展机制
它是为了研究大脑如何处理信息而开发的。训练中的变化和稀疏性对泛化的影响 实验结果表明，随着训练组合变化数量的增加，模型在未学习语言组合上的泛化能力显著提高。此外，通过分析语言LSTM的参数化偏差（PB）空间，研究团队发现，当学习中的任务组合变化较多时，不同概念（动作和对象名词）之间的关系结构更加一致，这表明语言潜在表示中的组合结构受到了感觉运动学习的显著影响。在认知科学和人工智能领域，如何使机器人能够像人类一样，在有限的学习经验下，将所学行为泛化到未学习的情景中，是一个长期存在的挑战。
2025-02-03 16:05:53
1004
原创 中国科大成功研发19自由度仿生灵巧手，复现人手级运动能力!
人手具备23个自由度，重量仅为人体重量约1/150，但运动功能占全身运动功能的54%。例如，人手可以实现33种不同的抓握动作，可以完成复杂的手语手势，可以完成剪刀操作、手机使用等精细操作任务。手是体现人类以及人形机器人工作能力的关键部件。然而，目前人形机器人的灵巧手以及全球超过一千万名上肢截肢患者的假肢手应用面临挑战。传统假肢灵巧手通常使用电机驱动，功率密度低，难以在自由度与重量之间找到理想平衡：佩戴超过人手重量的灵巧手会让患者感到严重不适，而自由度较低（通常少于10个）灵巧手仅能实现有限的抓握动作，远不
2025-02-02 13:21:45
638
原创 ICLR 2025收录论文：为什么动作分块对于机器人灵活性至关重要？
为了解决这些问题，近日美国斯坦福大学计算机科学家和助理教授切尔西·芬（Chelsea Finn）带领的研究团队，提出了基于动作分块（Action Chunking）策略的一种双向解码（Bidirectional Decoding, BID）方法，能够在保持动作分块优点的同时，提高了机器人策略在复杂任务中的表现。然而，在实际应用中，特别是在随机环境中，动作分块可能导致反应能力下降，因为减少了对最新状态观测的访问。同时，通过比较不同策略的输出，BID方法能够在保持时间一致性的同时，提高对环境变化的反应能力。
2025-02-01 13:12:11
1310
原创 Nature Communications发表！香港大学推出“会飞的象鼻”，开启空中柔性操作
最后涉及缠绕一个形状不规则的长凳，这一任务在使用夹爪时充满挑战和风险，然而，AET的多功能性在此得到了充分体现，通过接近长凳并利用连续体机械臂的闭环构型控制缠绕角落，如图所示。最后，在图c中，环境的复杂性进一步提升。在图a中，建立了一系列路径点以在水平平面上生成字母序列“ARCLAB”，保持与初始末端高度相同的高度，并指示AET的末端执行器跟踪这一一致的轨迹。AET不仅能在空中实现类似象鼻的绕取物体功能，更具备了在复杂受限空间中导航、避障、抓取的能力，有效打破了空中机械臂负载能力与灵活性之间的限制。
2025-01-31 14:36:34
932
原创 北京大学与智元机器人联合实验室发布OmniManip：显著提升机器人3D操作能力
以物体为中⼼的交互基元作为空间约束：通过 3D 基座模型⽣成任务相关物体的 3D 模型和规范化空间（canonical space），使 VLM 能够直接在该空间中采样 3D 交互基元，作为 Action 的空间约束，从⽽优化求解出 Active 物体在 Passive 物体规范坐标系下的⽬标交互姿态。在交互⽅向的采样⽅⾯，由于物体的规范化空间通过 Omni6DPose 锚定，轴的⽅向与语义对⻬，该团队让 VLM 直接对物体标准空间的轴进⾏语义描述，并根据操作任务进⾏匹配度排序，以获得交互⽅向的候选。
2025-01-27 10:29:46
1683
原创 π0：仅有3B数据模型打通Franka等7种机器人形态适配，实现0样本的完全由模型自主控制方法
Franka机器人七轴力控Franka机器人设置有两个摄像头和一个8维的配置和动作空间，其中关节力控功能在一些任务当中尤为重要UR5e单臂一个配备平行爪夹持器的手臂，带有一个腕部安装和一个肩上摄像头，总共提供两张相机图像和一个7维的配置和动作空间双臂UR5e 两个UR5e设置，总共提供三张相机图像和一个14维的配置和动作空间其他不再介绍。面对与预训练数据差异较大的新任务挑战，π0在大多数情况下都能提供最佳的性能表现，特别是在微调数据量有限的情况下，其优势尤为突出。
2025-01-26 17:10:21
1394
原创 Science Advances 用于独立检测压力和温度的3D主动矩阵多模态传感器阵列
从传输特性 （n = 25） 中提取的 （C） 载流子迁移率 （μ）、（D） 阈值电压 （VTH） 和 （E） 亚阈值斜率 （SS） 的直方图。（G） 顶部 TFT 的漏极电流 （IP） 和压阻片的电阻与施加的压力呈函数关系。从多模态传感器阵列测量的 （F） 压力和 （G） 温度的时空读数，并带有校准补偿。（A） 由压力传感有源矩阵和温度传感有源矩阵组成的 10 x 10 多模态 3D 传感器阵列的 3D 示意图。比例尺，25 μm。（A） 顶部压力传感器的相对电流与各种温度下施加的压力的函数关系。
2025-01-23 12:31:49
895
原创 加州大学伯克利分校最新研究：通过语言融合视听触觉异构传感器实现机器人通用操作策略微调
FuSe 通过引入两个额外的损失来克服这一限制，这两个损失充分利用了多模态，并将预训练的通才策略的语义知识与看不见的传感器模态联系起来：多模态对比损失：CLIP 风格的对比学习损失旨在最大化同一场景的不同模态和语义之间的互信息。然后，我们将结果声音馈送到生成头，生成头将生成与相应音频相关的指令（例如，“按下弹钢琴的按钮”）。最后，我们在训练环境中使用音频指令提示模型，其中模型已经将按钮的视觉提示与相应的声音相关联，并将执行一个轨迹，最终按下按钮，该按钮播放与第一个子任务中按下的按钮相同的声音。
2025-01-21 13:02:11
896
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人