未来具身智能的触觉革命!TactEdge传感器让机器人具备精细触觉感知,实现织物缺陷检测、灵巧操作控制

opencv缺陷检测 因此,我们可以使用颜色进行缺陷检测。在机器视觉系统中,缺陷检测是指在图像采集过程中,自动地将采集到的图像通过一定算法处理后,自动地对目标物体进行提取、分割、识别和跟踪。目前,国内外对基于区域生长算法的应用研究比较多,如:张军红等人将数学形态学与区域生长相结合,利用形态学腐蚀运算对目标进行增强处理,然后对增强后的图像进行区域生长,最后得到分割结果。缺陷识别是一种自动识别缺陷的方法,其基本思想是,当目标物体存在缺陷时,它会发出一定的信号,当这种信号与其周围的背景信号达到一定比例时,就会发现目标物体存在缺陷。 阅读详情
AI摘要

本文介绍了视触觉传感器TactEdge的升级历史、硬件优化、视触觉仿真及机器人感知操作。硬件优化包括弹性体、涂层等工艺优化;视触觉仿真基于Taichi语言和MLS - MPM方法。机器人感知操作涵盖织物识别、透明物体识别和农业水果质量检测等领域,未来将探索触觉与操作融合。

在我们的设想中,一个完美的机器人应当具备和人类一样的视觉、触觉、听觉、嗅觉和味觉。

通过以上「五感」感知并理解物理世界,同时借助强大的 AI 大脑实现对环境的精确响应,是打造智能机器人的核心,科技巨头特斯拉也认同这一点。

比如,他们推出的第二代人形机器人 Optimus 就强化了触觉感知能力,可以完成两只手指捏起鸡蛋的灵巧操作。这种对物体的准确感知和对力度的精准把握,正是得益于其十根手指尖端搭载的触觉传感器。

人类利用触觉评估物体的尺寸和形状等,机器人也是如此。借助触觉传感器,机器人可以更好地理解现实世界的物体交互行为,获取目标物体的纹理、温度、硬度和变形等触觉信息,从而实现对物体的精准定位,以执行各种操作(比如抓握)任务。简而言之,操作离不开触觉,触觉传感在机器人领域具备巨大的应用潜力。

在这里插入图片描述

12 月 13 日,由具身触觉社区主办、HyperAI超神经协办的「新锐论前沿」第三期线上分享活动正式开幕。本次活动邀请到了中国地质大学(北京)四年级博士生章诗昕,他以「TactEdge 传感器的设计、制备及机器人感知操作」为主题, 向大家详细介绍了视触觉传感器 TactEdge 的迭代历史、硬件优化、视触觉仿真、机器人感知操作等。

HyperAI超神经在不违原意的前提下,对章诗昕博士的本次深度分享进行了整理汇总。

视触觉传感器 TactEdge 的升级历史

过去,人们利用电子类触觉传感器来统计触觉信息,但这类触觉传感器的传感单元分布较为稀疏,在映射触觉信息时分辨率相对较低。为了提升触觉信息的质量,研究人员引入了一种新的传感机制——基于视觉识别原理的触觉传感器(也被称为视触觉传感器),其利用图像作为传感媒介,显著提高了触觉质量,尤其是在空间分辨率方面。 视触觉类传感器的演进进程如下图所示:

在这里插入图片描述

在这里插入图片描述

20 世纪后,研究人员们提出了一种新的视触觉传感方法,他们的工作可以归纳为 3 个主要模块:接触模块、相机模块、照明模块,并以此规范视触觉传感机制。 其中,接触模块包括标记层、涂层、用于传递触觉信息的功能层(例如感温层),再通过逆成像技术实现触觉信息的可视化。

在这里插入图片描述

我们团队自 2014 年起开始进行视触觉传感器的研究,至今已历经 10 年时间。在此期间,我们探索并发展了多代传感器技术,并将其称为一种前沿的触觉技术 TactEdge, 如下图所示:

在这里插入图片描述

第一代 TactEdge 采用涂层式设计, 通过金属溅射和掩膜工艺,制备了轻薄的金属涂层和标准标记阵列,具备双模态触觉传感功能。

第二代 TactEdge 在涂层或者标记材料中添加了热致变材料, 因为每种材料具有不同的温度阈值,可以在温度升高或降低的情况下,看到由浅至深的颜色变化,以此获得局部温度感知。

第三代 TactEdge 是集成视触觉传感的软体手,以内嵌视觉来监测内腔形变状态的方式实现弯曲姿态的追踪。

第四代 TactEdge: 涂层用于纹理映射,标记层实现了力的追踪,,而感温层则负责温度感知。为了实现多模态感知,我们将这些功能层进行组合,第四代 TactEdge 将热致变层与涂层结合实现纹理与温度的多模态感知。

第五代 TactEdge 在传感器的径向尺寸优化、触觉成像鲁棒性上做出巨大提升。 此外,还将标记层与涂层结合同时实现力和纹理的双模态感知。

第六代 TactEdge 采用了新式的视触觉传感机制 TIRgel, 通过在弹性体内部实施全内反射创造光度信息对触觉信息的表征,同时引入可调焦相机进行内外视觉的转换。

硬件优化

在近几年的传感器开发过程中,我们专注于硬件优化。 例如,2021 年的时候,我们总结了当前主流传感器的制备技术(比如弹性体制备工艺、标记层制备工艺、涂层制备工艺、支撑结构形式),并在此基础上进行工艺编码,归纳出 7 个设计目标,如下图所示,这些目标取决于视触觉传感器的应用需求。

在这里插入图片描述

根据这些传感需求,我们增加了各种限制条件,构建了工艺与设计目标之间的内在关系和逻辑框架。基于此,我们建立了整个工艺制定系统,并基于 QT 开发了工艺制定系统可视化界面。如下图所示,用户可以在绿色框中输入设计目标,系统后台会根据这些目标匹配合理的制备流程,辅助团队开发传感器。然而,这里只提供推荐的制备流程辅助,特殊场景下的一些需求,仍要对工艺进行特定的局部优化。

在这里插入图片描述

弹性体工艺优化:简化制备流程+更低成本

例如,弹性体常用的制备工艺包括定模、调配硅胶、浇筑、抽真空、加热和脱模,随后进入各种涂层工艺,这是一种通用的弹性体制备流程。在批量生产时,考虑到加热时间较长,可以采用自固化的特殊硅胶材料,这种材料在固化和抽真空后不需要额外加热。此外,为了降低传感器弹性体制备的成本,我们团队也提出了一种层积工艺。

在这里插入图片描述

涂层工艺优化:耐磨性和延展性

目前,传感器的涂层制备方案主要分为喷涂工艺、金属溅射工艺。金属涂层在经过频繁触摸后会出现完全脱落和磨损的现象,喷涂涂层的耐磨性略胜一筹,但在遇到尖锐物体时会出现局部破损。因此,涂层质量和耐磨性是无法忽视的问题。过去,涂层制备更偏向于机械附着的方式,前几年,有人提出化学附着的概念,也就是在未固化的弹性体表面附着涂层材料,在固化前形成化学键,以增强耐磨性和附着力。

贴金工艺:提升耐磨性

对此,我们提出了一种新的涂层优化方案——贴金工艺,用于提升其耐磨性。主要是将金属箔贴附于弹性体上,形成薄涂层,这种方案实现了附着强度的双重优化,即金属箔表面的过氧化物与亚克力胶带(甲基丙烯酸甲酯)引发链聚合反应,从而形成化学键,此外,弹性体与金属箔形成范德华力。

在这里插入图片描述

相比传统的喷涂和金属溅射工艺,贴金工艺在硬件成本、制备成本和时间损耗方面具有显著优势。比如,喷涂过程以及喷枪清洗的麻烦被大幅简化,缩短了传感器的制备周期。此外,新工艺不仅提高了功能层的耐磨性,熟练操作下,整个接触模块的制备时间可能缩短至 5-10 分钟。贴金工艺的另一个显著优势是方便维护,涂层表面通常会贴附保护层,如织物或医用胶带,这些保护层的厚度会影响触觉灵敏度和精细纹理映射,但贴金工艺允许在破损的涂层上进行二次操作,有利于维护。

拉丝工艺:提升延展性

然而,在实际应用中我们发现,由于金属箔本身是连续的涂层,在按压过程中容易产生裂纹。我们认为金属箔颗粒度不断堆积可以在宏观上形成一个连续的涂层,进而提升涂层延展性,于是我们对贴金工艺进行改良,提出了拉丝工艺。

在这里插入图片描述

我们对金属箔进行拉伸处理,由于其具有丰富的滑移系,在塑性变形过程中可以形成精细颗粒,拉伸强度越高,颗粒越精细。不同金属的滑移系不同,颗粒尺寸也有所差异,因此我们使用铜箔、铝箔和银箔进行了实验,电子显微镜下的微观结构显示:

  • 铜箔:由于滑移系不如铝箔和银箔丰富,拉伸过程中颗粒较为粗大,影响触觉成像的连续性。

  • 铝箔和银箔:拉伸后的颗粒非常精细,具备纳米级颗粒分布,显著提升了触觉成像的空间分辨率。

在这里插入图片描述

我们将拉丝的涂层与现在主流的喷涂工艺、金属溅射进行对比,如下图所示,我们的工艺在纹理的映射效果上来讲是最好的。
在这里插入图片描述

如下图所示,薄涂层在按压过程中容易破碎,在尖锐物体按压时破裂的速度和程度更快。但颗粒化后的拉丝涂层在抵抗不规则形变时显示出更强的抵抗力,这表明颗粒化处理提高了薄涂层的延展性。

在这里插入图片描述

为了评估双重附着强化后涂层的耐磨性能,我们进行了耐磨性测试,并记录了涂层微观结构变化。结果显示,拉丝涂层在磨损过程中颗粒变得更加精细,整体呈现均匀磨损;而喷涂涂层由于附着力较弱,在磨损过程中出现局部脱落并堆积在周围区域,形成坑洼现象。

在这里插入图片描述

视触觉成像优化:提升视触觉成像鲁棒性

此外,改进的涂层也在一定程度上增强了视触觉成像的鲁棒性。

在视触觉传感中,成像距离非常小,很多都是微距成像,这种情况下,每次按压都会改变成像距离,从而导致成像偏差。此外,传感器设计时预设的成像距离与实际使用中的成像距离也可能存在差异,这两者均会导致成像清晰度不足。为了解决这些问题,我们开发了一套成像调节系统,该系统包括校准模块和调焦模块。

在这里插入图片描述

在成像调节系统中,成像校准模块采用全局搜索策略来推进调整区间并缩短调焦距离,同时帮助确定合理的调整值作为标签。调焦模块则采用了两种方法:基于三点拟合的对焦深度法、基于深度学习的离焦深度法,前者精度高但速度慢,后者速度更快但精度略低,是一种端到端的调整方法。

在这里插入图片描述

鉴于视触觉传感依赖图像机制,我们主要以图像清晰度为标准进行调焦。如下图所示,理想的成像清晰度评估曲线应具有无偏性和单峰性等(红色曲线)。然而,在实际调焦环境中,光线往往不均匀(蓝色曲线),会陷入局部调焦峰值。

在这里插入图片描述

在封闭环境中使用的视触觉传感可以减少外界干扰因素,使得成像曲线更接近理想状态。为此,我们搭建了标定平台,并测试视触觉传感的成像曲线,探索适用于该传感器的图像梯度计算方法。结果显示,Tenengrad 梯度计算方法更贴合传感器的匹配度,且拟合曲线具备所提出的五个关键特性,尤其是无偏性和单峰性,这对后续调焦的评估至关重要。

一般情况下,我们会随机设置一个初始调焦值,轻微按压后,对成像进行标定以获得清晰图像,成像仍在可接受范围内。

在这里插入图片描述

此外,在传感器设计阶段需考虑动态变化的传感域,以便根据特定场景扩大或缩小成像距离。随着成像距离的增长,传感域也会扩大,用动态应对成像调焦来简化整体设计。如下图所示:

在这里插入图片描述

为了测试调焦精度,我们使用 3 种不同密度纹理的物体进行实验,结果显示两种校准方法均接近预期效果,成像调整准确率可达 99.5% 以上,并能在动态识别任务中实时调焦。

在这里插入图片描述

在这里插入图片描述

感温层优化:进行分布式模态设计

在感温层的优化设计方面,目前,其研究相对较少,主流方法是在传感器的功能层中添加感温材料,例如,加入热致变粉末和热致变油。从初步成像结果来看,这种方法的颜色信息与纹理信息融合在一起。然而,温度与纹理之间并没有直接的相关性,如果在图像中将这些不相关的特征融合而不进行适当的特征提取或分离,再一同输入模型进行识别,这种做法是不合理的。

在这里插入图片描述

为了解决这个问题,我们对感温层和涂层进行了分布式模态设计,两个区域的尺寸与特征提取机制相匹配。我们将在后面详细讲解。

在这里插入图片描述

内部结构优化:小型化提高传感器的集成性

考虑到视触觉传感器的小型化需求,我们希望减小其尺寸来提高传感器的集成性。得益于微观成像技术的发展,我们有效减小了镜像尺寸,并对传感器内部结构进行模块化处理,通过将不常装备的组件集成化,可以便于组装与拆卸,也实现了空间的最大利用。结合不同的连接器,微型视触觉传感器能够集成到各种机械手上,实现高集成性和高兼容性。

视触觉仿真

尽管我们的方法提高了视触觉传感器涂层的耐磨性,但经过数千次使用后仍会出现磨损,这种情况下需要我们进行大规模的数据采集,仅依赖人工并不现实。因此,我们展开了视触觉仿真的研究,主要是基于 Taichi 语言和 MLS-MPM 方法,对弹性体变形进行仿真。

在这里插入图片描述

弹性仿真主要是通过颗粒化的粒子表示弹性体和压头,并在每一步仿真过程中传递粒子的物理属性(如动量和质量)至网格,然后使用网格节点和粒子的先前状态对粒子的状态进行更新,仿真结束后,可获取深度信息。Tacchi 也可以与其他机器人相连来联合仿真,在按压过程中粒子会逐帧变化,最终形成粒子深度图并渲染。进一步地,在 Touch 2.0 中,我们增加了粒子与网格间的相互信息传递机制,改善了滑动物体的仿真效果,并采用光线追踪方式提升渲染的真实感,使得新版本在细节上比 Touch 1.0 更为精细。

在这里插入图片描述

机器人感知操作

在硬件和仿真的基础上,视触觉传感器正向不同感知领域扩展,我们的 TactEdge 机器就是用来解决不同领域的识别难题,我们也在机器人操作上进行一些有趣的尝试。

织物识别:可用于织物缺陷检测

因为织物的纹理精细且几何特征鲜明,早期大家用其验证视触觉传感器的纹理映射效果。然而,涂层式视触觉传感器在按压织物时会过滤掉颜色信息,虽然间接提取了几何信息,但对于织物而言,颜色同样重要。为此,我们比较了涂层式传感器与第六代视触觉传感器在相同纹理但不同颜色样本上的表现,如下图所示,融合视触觉后的涂层式传感精度显著提升,既能获得视觉信息,又能获得触觉信息。

在这里插入图片描述

织物缺陷检测至关重要,其缺陷会导致价值降低 45%—65%。布料染色花纹会严重影响算法的通用性和复杂程度,触觉作为人类重要的感知能力之一,不受物体表面颜色的影响,可以辅助视觉来帮助我们感知物体。因此,我们把触觉引入织物缺陷检测,并利用 9 种布料样本进行交叉验证。结果显示,触觉模式下的识别准确率高于视觉模式,特别是对于某些特殊纹理的识别。

在这里插入图片描述

由于织物的纹理信息占据主导地位,影响缺陷部位的判定,我们引入了注意力机制,对有缺陷的重点区域进行偏重处理,增强缺陷部位的识别精确度。

在这里插入图片描述

透明物体识别:玻璃杯识别准确率达 99% 以上

除了织物外,透明物体的纹理识别颇具难度,由于其透明属性和反射光的影响,视觉情况下会存在错识,因此我们引入触觉机制,并采集触觉数据、建立触觉平台,在采集的玻璃杯中,考虑其自身的温度属性影响,我们通过添加热水或冰块调节温度,采集触觉图像,并处理为所需的触觉形式。

在这里插入图片描述

前面提到,触觉识别通常包含温度和纹理信息。将这两者分开识别,并把不同的单模型融合,强化两种特征的提取和分离,是常见的识别方法,却可能会造成不规则的融合。

于是,我们提出了层次区域特征提取机制。该机制确保感温层和温度层的区域分布是按照特定尺寸分布的,将这种特定尺寸与卷积尺寸匹配,在卷积滑移过程中实现各自区域内的独立特征提取,可以避免混杂融合提取。此外,在区域特征提取的同时,后续特征图中的各个模态区域与初始区域会形成模态的映射,并结合矢量化处理,实现不相关模态特征的分布式并行处理。

在这里插入图片描述

考虑到纹理特征和温度特征的学习难度不同,我们还集成了层次识别机制,分配不同的深度网络模块以深化信息处理,这种层次机制可以有效学习复杂特征。

如下图所示,传统单模型未能有效处理纹理和温度信息,因此在个体识别中,温度识别准确率较低,在整体识别中,因为图像的纹理识别占主导地位,模型把不相关特征进行了强行耦合和映射,温度识别提高。而我们的机制 (LRFE-Net) 在整体识别和个体识别的持续准确率保持一致。此外,与多模型识别相比,我们的方法在时间效率上也得到了提高。

在这里插入图片描述

总结来说,我们在视觉模式下获得透明物体的外观属性,在触觉模式下获得其纹理或温度属性,接下来,就可以用决策融合的方式将这两种模式得到的属性融合,共同作用于透明物体识别,比如,我们的方法将玻璃杯视触觉识别准确率达到了 99% 以上。

在这里插入图片描述

农业领域应用:水果质量检测

在农业领域,我们也把视触觉传感扩展到了水果质量检测上,利用形变差异评估水果软硬度及局部腐烂程度。

在这里插入图片描述

当施加压力时,不同硬度的物体会产生不同的形变,同样,标记和力也存在相互关系。要完全表达这种触觉的接触机制可能需要非常庞大的数据集和复杂的模型。但在实际操作任务中,并不一定需要精确测量力值,了解接触点的形变趋势就足以满足某些任务的需求。于是,我们提出了一个 two-stage 自适应抓取策略,如下图所示,该策略主要分为两个阶段:

  • 预抓取阶段:以触觉探索的形式促使视触觉传感器与物体达成稳定的微接触状态,可以构建物体属性的的初步认知

  • 稳定性调节阶段:该阶段基于微形变的动态检测来判定抓取稳定性促使视触觉传感器与物体达成动态的相对稳定状态,可以强化构建物体属性的认知

在这里插入图片描述

该策略可适应不同的抓取需求,比如抓取苹果、鸡蛋、海绵、罐头等。如下图所示,在鸡蛋的预抓取阶段,机械手缓慢移动以建立与物体属性的初步识别,随后,在稳定性调节阶段,由于鸡蛋重量较轻,系统仅需轻微调整即可完成抓取操作,无需过多干预。

在这里插入图片描述

对于海绵这类材料,预抓取阶段已经能够形成相对稳定的接触状态,因此,并未激发系统进一步的调节需求。相比之下,罐头作为重物,在初步抓取时未能达到充分稳定的状态,在稳定性调节阶段,罐头存在滑移倾向,PD 控制器会对其进行微调,直至满足稳定性需求,整个调节过程结束。

在这里插入图片描述

如下图所示,不同物体的抓取测试表明,我们提出的 two-stage 自适应抓取策略具有高度的鲁棒性,能够在各种多属性物体上实现稳定可靠的抓取操作。

在这里插入图片描述

以后,我们将继续探索触觉与灵巧操作的融合,致力于实现机器人的拟人化精细操作。

在这里插入图片描述

未来,HyperAI超神经还将协助具身触觉社区持续举办线上分享活动,邀请国内外的专家学者分享前沿成果与见解,敬请期待!

跟着Synopsys报告,一步步拆解车规芯片FMEDA计算(含公式与避坑点) 本文详细解析了车规芯片FMEDA计算的全流程,基于Synopsys报告拆解实战指南,涵盖基础失效率建模、安全机制效能评估及安全指标合成等关键步骤。通过公式解析、数据准备清单和避坑点分享,帮助工程师掌握ISO26262标准下的硬件量化分析技术,提升车载系统设计可靠性。 阅读详情

相关推荐

智能车视觉算法实战:十字路口与弯道拐点的精准识别

本文深入探讨了智能车视觉导航中十字路口与弯道拐点的精准识别算法。通过实战经验,详细解析了如何利用纵向巡线法生成边界数组,并从中高效提取“上拐点”与“下拐点”的关键特征。文章重点分享了提升算法鲁棒性的核心技巧,包括图像预处理、ROI设置、状态机应用及多特征融合,旨在帮助开发者实现智能车在复杂路况下从“看见”到“看懂”的稳定决策。

weixin_29061465的博客 637

集成视触觉传感器的机器人操作学习

如果能够在机械手末端加装传感器来获取更加丰富信息,这些信息可以丰富强化学习的信息量,并作为观察值(Observation)来对齐虚拟和现实,完成强化学习的迁移,提高整体模型的鲁棒性和一般性。其具有如下的优点,首先是数据依赖性低,强化学习通过与环境的交互来学习,减少了对标记数据的依赖性,可以大量的减少成本。另有研究者使用有限元(FEM)的方法来对视触觉传感器进行了仿真,通过视触觉传感器的标记点来对齐虚拟和现实的信息,完成了插拔刚体,钥匙开锁等刚性操作。这大大提高了仿真的难度,从而限制了其在强化学习的应用。

weixin_44887311的博客 1737

Nuclei漏洞扫描:从零到精通的Windows实战指南

本文详细介绍了Nuclei漏洞扫描工具在Windows平台上的安装与使用教程,从基础安装到高级实战技巧全面覆盖。通过具体案例展示如何利用Nuclei的模板库快速检测常见漏洞,并提供自定义POC开发指南,帮助安全从业者高效开展漏洞扫描工作。

weixin_28683689的博客 252

V-HOP:结合视觉和触觉多模态融合数据集,助力机器人实现鲁棒的6D物体姿态跟踪

2025-02-25,由布朗大学和德州大学达拉斯分校联合创建了V-HOP数据集,目的通过结合视觉和触觉信息实现鲁棒的6D物体姿态跟踪。该数据集的最大特点是包含了多种机械手和物体的多模态数据,能够有效支持跨机械手和跨物体的泛化能力,为机器人在复杂环境下的精准操作提供了更强大的感知支持。

u011559552的博客 1995

ADS学习笔记 1. 功率放大器设计

基于ADS2023 update2的学习笔记1.功率放大器设计

u014087103的博客 1万+

NRF52832调试方法1——HardFault_Handler问题定位

一、遇到问题 keil debug模式下,直接点击全速运行(Run)发现程序卡死,点击stop按钮后,停到了HardFault_Handler位置,如下图所示。 此时使用navigate backwards(蓝色左箭头)是无效的,找不到程序卡在哪里。 二、解决办法 此时首先观察register窗口 若Stack为MSP,则复制R13(SP)的值到memory观察窗的地址搜索栏。每一行显示连续的28个地址上的存储信息,每个地址上存有一个字节。 从第21个位置起的连续四个字节是LR的值,

小梁的博客 3651

视觉“解锁”触觉操控:Franka机器人如何玩转刚柔物体?

通过基于视觉的触觉传感器实现低成本远程操作和触觉反馈,用于刚性和柔性物体的操控

PNP_Robotics的博客 1010

MTK手机传感器驱动开发避坑指南:从SCP代码大小限制到Overlay加载流程详解

本文详细解析了MTK平台传感器驱动开发中的常见问题,包括SCP代码大小限制、Overlay加载流程及客制化传感器集成。通过实战案例和优化策略,帮助开发者高效解决MTK传感器驱动开发中的技术难题,提升开发效率。

weixin_42522374的博客 402

多模态大模型下的具身智能!全面汇总:感知、交互、推理和仿真

具身人工智能(Embodied AI)对于实现通用人工智能(AGI)至关重要,并且是连接网络空间和物理世界的各种应用的基础。最近,由于多模态大模型(MLMs)和世界模型(WMs)在感知、交互和推理能力方面表现突出,它们受到了广泛关注,成为了具身智能体大脑的潜在架构。然而,在MLMs时代,尚没有针对具身人工智能的全面综述。在本综述中,我们对具身人工智能的最新进展进行了全面探讨。我们的分析首先通过具身机器人和模拟器的代表性前沿工作,全面了解研究重点和局限性。

m0_59235699的博客 2万+

NVIDIA A100驱动及CUDA安装指南

NVIDIA A100驱动及CUDA安装指南:详细介绍了在Ubuntu系统下安装A100显卡驱动和CUDA工具包的完整流程,包括环境准备、驱动安装、CUDA配置及性能优化建议。特别推荐猿界算力平台提供开箱即用的A100算力租赁服务,具备专业团队支持、灵活租期和实惠价格等优势。文末通过PyTorch测试验证了A100设备的可用性,展示了80GB显存的强大计算能力。

2401_89353317的博客 1516

第二节_PySide6项目创建流程介绍、手把手教学打包EXE可执行文件

本文详细介绍了如何使用PySide6创建一个带UI界面的Python程序,并将其打包成exe可执行文件。首先,通过Pycharm创建项目,并使用PySide6-Designer工具设计UI界面,将生成的ui文件转换为Python代码。接着,编写主程序,加载UI界面并实现功能,如加载图片、设置图标等。最后,通过资源文件管理图片资源,并确保UI界面的更新能同步到主程序中。整个过程涵盖了项目创建、UI设计、代码编写及资源管理,适合初学者学习如何将Python程序打包为可执行文件。

su桥木的博客 2592

多链路聚合低时延可靠 UDP 赋能具身机器人实景落地

随着具身智能加速走向实景应用,机器人不再只是单机执行设备,而是需要持续和云端交互、实时感知环境、具备安全兜底能力的智能体。当主链路异常时,系统需要毫秒级切换,快速接管控制指令,及时制动、避险,杜绝安全事故。多链路聚合技术,将多路通信链路融合调度,配合低时延可靠 UDP 协议,在保障 UDP 原生低时延优势的同时,通过链路冗余、数据包分片与动态调度,降低丢包、抵御信号突变。从算法训练到现场作业,从正常运行到异常应急,为具身机器人构建一条持续可靠的通信大动脉,助力具身智能实景场景稳步落地。

QDLL123的博客 189

北斗导航 | 卡尔曼滤波与因子图优化对比(附图优化matlab代码)

- 历史数据利用:因子图通过滑动窗口保留历史状态,优化时联合多帧数据;卡尔曼滤波仅依赖当前和上一帧状态 。 - 迭代优化:因子图通过多次迭代逼近最优解,卡尔曼滤波仅单次更新 。 - 误差抑制:因子图的多次线性化可有效抑制非线性误差(如GNSS伪距观测的非线性) 。

尘世冰封的专栏 1314

灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力

灵巧手是实现机器人精细操作的关键末端执行器,具备多指协调与复杂抓取能力。相比传统夹爪,其优势在于可完成捏取、旋转、调整姿态等精细动作。其核心由机械结构、驱动方式(如电机、腱绳传动)、传感系统(位置、力、触觉)及控制算法构成。通过高自由度设计与多模态感知,灵巧手能实现自适应抓握与稳定操作,广泛应用于医疗、制造与服务领域,代表了机器人向人类操作能力逼近的重要方向。

feizuiku0116的博客 2463

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

把 Agent 搬进飞书:飞书 Agent 机器人演示

本文展示下如何将 Agent 搬进飞书,协助提高日常的工作效率。

分享 Go、云原生、AI Infra 相关技术 343

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

广和通亮相electronica 2026,展示智能割草机器人、AI终端及无线连接解决方案

—在electronica 2026德国慕尼黑电子展上,广和通展示无线连接、AI及机器人技术在终端开发中的应用,为OEM厂商提供覆盖的多层次技术选择。

Fibocom_Wireless的博客 195

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Runway开源机器人大模型Praxis-1,推演延迟压到62毫秒

Runway开源机器人大模型Praxis-1,推演延迟压到62毫秒

math_bearrr的博客 341

环视同步与拼接的工程改法:从车规到机器人

重叠区的形状也要看:横向窄、纵向长的重叠,和四四方方的重叠,能提供的约束不一样,前者在俯仰变化时更脆弱。务实做法是给相机支架足够的刚性,把易变的安装点做成可重复定位的结构,再配一套快速校验手段。支架刚性也不是越硬越好,而是要在刚度、重量、成本之间取平衡:机器人末端对重量敏感,一味加厚支架会影响运动性能,这时更该把可重复定位和快速校验做扎实。动态范围的处理没有银弹。拼接错了,标定也救不回来:重叠区不足时,匹配点不够,任何算法都只能猜。相机装在哪里,要看机器人在典型任务中的姿态,而不是看它在展厅里站着的样子。

gunser的博客 250

Atracsys 3D视觉定位导航系统 SDK 故障分级与 PoE+ 部署:手术机器人集成中的实时误差诊断、单线供电与现场重校准

位姿计算可以拆成四步:两台相机同步成像;提取反光球、反光片或红外 LED 的像点;按标定参数做三角测量,得到每个特征点的三维坐标;再由标记几何先验解算 6DoF(x、y、z、α、β、γ)。工程难点不在公式,而在全视场并行采集、特征点编号不串、遮挡时仍能稳定输出,以及标定参数在全工作体积内的一致性。

欣佰特cnbestec的博客 324

SplatMesh:基于不完善机器人数据的“真实-到-仿真”端到端方法

论文:Splatting Physical Scenes: End-to-End Real-to-Sim from Imperfect Robot Data (Google DeepMind,arXiv 2506.04120) SplatMesh 用“网格是骨架,surfel 化的高斯是皮肤”的绑定方式,让 3DGS 的光度梯度直接驱动显式网格,再接上 MJX 可微运动学,在一个优化里同时完成物体重建、新视角合成和机器人/相机标定。它的价值在于打通 real-to-sim 的完整链路,几何精度和拓扑灵活性还

yorkhunter的博客 668

语音机器人方言识别效果差怎么优化?本地小店场景调优指南(2026)

内容基于门店语音接待配置和方言场景排障的实际过程整理。ASR 热词权重机制、置信度分级、方言模型覆盖范围等描述,参考主流云 ASR 和语音机器人平台的通用设计思路;文中 CER、意图准确率、澄清次数、兜底率等阈值为本地实测经验值,第七节案例样本量有限(50 通录音),数字仅作方向性参考,不构成对任何方言或地区的普适结论。具体参数以平台文档和本地实测结果为准,文中配置片段为示意,不构成具体产品配置指南。

weixin_47312655的博客 373

机器人如何把目标变成运动:自由度、正逆运动学与奇异性

本文以2R平面机械臂为例,系统阐述机器人运动学核心概念:正运动学(FK)通过关节角计算末端位姿,逆运动学(IK)则反求实现目标位姿的关节构型,揭示同一位置可能对应多解或无解。引入雅可比矩阵描述关节速度与末端速度的映射关系,分析奇异性与工作空间限制,并强调实际应用中关节限位、碰撞避让及数值求解初值的重要性,阐明任务描述与机构能力之间的匹配本质。

weixin_37540091的博客 351

强化学习第十三课:为什么 Q-Table 到机器人这里会失效?

因为产生数据时可以使用:但学习目标却使用:代表更贪心的目标策略。所以:\[ \boxed{\text{行为策略和目标策略可以不同}} \]因为:它按照当前行为策略实际选择出的 \(a_{t+1}\) 来更新。所以采数据和被评价的是同一套策略。Q-Table 的最大问题:\[ \boxed{\text{状态空间太大/连续时无法枚举}} \]解决:用神经网络:代替 Q-Table。

qq_56657939的博客 305

情感交互机器人融资,四川具身科技的「爱湫」登场

当前人形机器人的主流战场是工业、仓储、巡检这些「干活」的场景,而「爱湫」把重心放在了「陪伴」上——通过面部投影和情绪识别,让机器人和人之间多一层情感层面的交互。情感交互机器人的市场,其实一直存在,只是过去被「能干活」的主流叙事盖住了。它主推的产品「爱湫」,是一款主打情感交互的人形机器人,搭载 3D 投影面部技术,情感交互机器人的逻辑,是面向养老陪伴、文旅服务、展厅导览这类「不要求重体力、但要求互动感」的场景。真正的考验不在发布会,而在它能不能在真实的养老和陪伴场景里,被用户用起来、留下来。

jushenAGI的博客 320

第四章:[案例]基于本地知识库实现简易多轮对话机器人

本项目构建教学版本地知识库问答机器人,通过读取knowledge.txt文件,按标点切分文本,基于关键词匹配实现简单检索,并结合多轮对话历史与大模型生成答案。代码演示了检索增强生成(RAG)的核心流程,适用于学习理解,区别于生产级向量检索系统。

xyphf的博客 794

婴儿看护、宠物陪伴与老人监护三线驱动:智能家用摄像机器人市场迈向128.67亿美元

随着人工智能、计算机视觉、物联网及自主移动技术持续融合,智能家用摄像机器人正从传统视频监控设备向具备主动感知、智能识别、环境交互和自主巡视能力的家庭智能终端演进。家庭安全防护、远程看护、宠物陪伴和智能家居联动等需求不断深化,推动产品功能、使用场景及商业模式加速升级。全球智能家用摄像机器人产业正在经历从基础视频监测向智能化、主动化和多场景应用发展的重要转型。LP Information(路亿市场策略)持续关注全球智能家用摄像机器人市场规模、技术路线、竞争格局、区域需求及产业链变化,重点分析人工智能视觉技术升级

LPIHelen的博客 242
上一篇: 针对超大规模病理图像分析!华中科技大学提出医学图像分割模型,提高干燥综合征诊断准确性
下一篇: 2024 年医疗 AI 突破盘点,精选 35 篇不可错过的前沿论文
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值