- 博客(31)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 ReTouch：通过在线优化的触觉预测赋能富接触灵巧操作
本文提出ReTouch框架，通过在线优化的触觉预测提升灵巧操作的接触鲁棒性。该研究采用UR7e机械臂与XHand灵巧手平台，构建包含900条示教数据的触觉数据集。核心创新在于将触觉预测从静态输出转变为持续优化的动态过程，结合9Hz的视觉语义规划与36Hz的递归触觉优化模块。实验表明，该方法在7项接触密集型任务中达到83.6%的平均成功率，较基线提升18.4%，在未见场景中保持73.1%的鲁棒性。研究由中国科学技术大学团队主导，为高精度接触操作提供了可扩展的触觉处理范式。
2026-08-17 10:42:38
479
原创 Q-VGM：适用于流匹配VLA的真机强化学习方法
本文提出 Q-Guided Value-Gradient Matching（Q-VGM），一种离策略强化学习方法，目标是解决流匹配视觉—语言—动作策略后训练中的长期难题：如何利用学到的QQQ函数，高效改进表达能力很强的流匹配动作专家。有效的策略改进应使用 critic 的一阶梯度信息，但流策略使这件事格外困难。把价值直接穿过多步去噪过程反向传播，在 VLA 规模下会数值不稳定；策略梯度需要的可处理动作似然，在迭代去噪过程中又不可得。
2026-07-23 20:41:27
425
原创 SONIC：机器人运动控制的基础模型
SONIC提出了一种基于大规模运动跟踪的人形机器人控制框架，通过统一编码三种输入（机器人轨迹、人体动作和混合指令）为共享FSQ token，实现自然全身运动、交互控制和多模态任务。该框架利用700小时多样化动作数据训练42M参数模型，在21,000 GPU小时计算下获得规模化收益，并展示了在未见动作上的泛化能力。实验表明，该方案能支持VR遥操作、视觉-语言-动作模型等下游应用，为人形机器人控制提供了可扩展的基础任务范式。
2026-07-21 13:48:36
387
原创 【更少调用，更高效导航】Goal2Pixel端到端视觉语言导航新范式
视觉语言模型（VLM）已成为连续环境视觉语言导航（VLN-CE）的常用基础。然而，多数基于 VLM 的方法把导航表述为低层动作预测；这种接口存在歧义，只对应短时运动原语，并因反复查询 VLM 而效率低下。本文提出 Goal2Pixel，一种纯像素范式，把 VLN-CE 重新表述为可导航像素定位。Goal2Pixel 不预测动作，而把图像平面作为 VLM 推理与机器人运动之间统一的空间接口：模型预测当前视野内一个可导航像素，再将其反投影为三维路点以向前导航。
2026-07-16 16:49:11
374
原创 g3D-LF：面向具身任务的可泛化三维—语言特征场
本文提出 g3D-LF，一种可泛化的三维-语言特征场模型，用于具身任务。该模型通过处理带位姿的RGB-D图像，能够预测新视角表征、生成BEV地图，并支持多粒度语言查询。方法采用在线特征场构建和分层对比学习，使三维表征与语言对齐。实验表明，g3D-LF在视觉语言导航、目标导航和情境问答等任务中表现出色。模型创新在于结合三维空间关系与语言监督，弥补了传统二维方法的不足，同时支持实时更新和开放词汇语义理解。
2026-07-13 17:01:06
348
原创 华丽的分割线----2026.7.11----华丽的分割线
最近一段时间刚刚完成了硕士中期汇报，实习也已经有两段，再出去实习导师也不会放过。奈何组内资源实在有限，算力和资源都足以支撑做业界前沿的具身项目。遂希望能通过这段时间积累和吸收现有的业界产出和关键知识，分享的内容包括VLN 、VLA、RL、WM类的优质论文，会一直保持两日更的频率 （过期会补），通过输出内容来激励自己输入。
2026-07-11 14:46:56
28
原创 视觉语言导航 之 人机交互主动对话导航新基准VL-LN Benchmark
本文提出 IIGN 任务与 VL-LN 基准，首次系统研究具备主动对话能力的具身导航智能体如何在房屋级长程环境中通过"主动提问"解决指令歧义、提升实例定位精度。arxiv研究领域：具身智能（Embodied AI）× 视觉-语言导航（VLN）× 人机对话arxiv核心任务：Interactive Instance Goal Navigation（IIGN）——在模糊类别指令下，智能体需边导航边向 Oracle 主动提问以定位特定实例arxiv关键术语。
2026-03-31 14:40:07
482
原创 论文导读--PQ3D：通过分段级分组实现多模态特征融合和 MTU3D：在线查询表示学习与动态空间记忆
MTU3D和PQ3D是两项突破性的3D视觉-语言理解技术。MTU3D提出统一框架，通过动态空间记忆库整合在线探索与物体定位能力，在多项导航基准上显著提升成功率（SR提升13.7%-23%）。其创新点包括在线查询表示学习、统一探索-定位目标和大规模VLE预训练。PQ3D则首创可提示查询机制，支持从实例分割到高级推理的多样化任务，在10个基准测试中创下新记录（如ScanNet200上AP25提升4.9%）。两项技术均展现出强大的多模态处理、实时运行和零样本迁移能力，为具身智能体的3D场景理解与导航提供了通用解决
2025-07-16 21:18:10
1232
原创 视觉语言导航 相关工作速览之二
SG-Nav首次通过场景图结构化表示与分层推理，实现了高精度、可解释的零样本导航，为LLM在具身智能中的场景理解提供了新范式[1]。
2025-07-03 16:30:12
1411
原创 视觉语言导航 相关工作速览之一
人类在陌生环境中导航时，会结合语义知识（如物体空间分布规律）进行推理。受此启发，Yokoyama等(2023)[1]提出了一种零样本（zero-shot）语义导航方法VLFM，旨在让机器人在未知环境中高效寻找目标物体，。
2025-06-30 21:32:48
1282
原创 UR机械臂配置moveit_config和moveit_servo（保姆级教程）
本教程在ros2 humble下使用moveit2的新特性moveit_servo功能包实现UR16e机械臂的末端伺服，ur其他系列也可参照此教程。本教程还包含了UR机械臂手动配置moveit_config的简易教程。
2025-06-11 17:47:40
3042
3
原创 PointCloud Transformer 之《相对位置编码》
在学习3D Transformer的位置编码之前，我们先回顾一下在NLP上对于语言进行建模时，Transformer的位置编码所起到的作用Transformer模型中的位置编码（Positional Encoding）用于解决序列中词语位置信息的问题。由于Transformer不像RNN那样按顺序处理输入序列，而是通过自注意力机制并行处理整个序列，因此需要一种方法来显式地为每个词添加位置信息，以保留序列中词的顺序关系。
2025-06-04 20:17:49
1257
原创 3D场景分割之实例分割评价指标(InstanceSegmentEvaluator)——一文看懂mAP计算
模型正确预测为正类的样本，即实际为正类（Positive），且模型也预测为正类。
2025-05-23 23:22:04
1443
原创 实时3D场景分割之《OnlineAnySeg: Online Zero-Shot 3D Segmentation by Visual Foundation Model Guided 2D Mask》
给定一段RGB-D视频，我们希望以一种在线的方式分割当前重建出的场景中存在的实例，输出当前所重建场景的点云、3D实例的mask以及它们所对应的开放词汇语义特征。
2025-05-21 21:49:58
1365
3
原创 实时3D场景分割之Embodied SAM代码解读
先看摘要：具身任务要求代理在探索的同时充分理解 3D 场景，因此迫切需要一个在线、实时、细粒度和高度泛化的 3D 感知模型。由于高质量的 3D 数据有限，因此直接在 3D 中训练此类模型是不可行的。同时，视觉基础模型 （VFM） 以卓越的性能彻底改变了 2D 计算机视觉领域，这使得使用 VFM 来辅助具身 3D 感知成为一个有前途的方向。然而，大多数现有的 VFM 辅助 3D 感知方法要么是离线的，要么太慢，无法应用于实际的体现任务。
2025-05-16 23:07:14
1192
原创 3D场景图之稀疏张量库（MinkowskiEngine & torchsparse）
3D检测的框架非常多，基于PointNet的框架需要进行最远点采样来提取不同层次的特征，相比于基于卷积的框架会更加耗时。而基于卷积的框架，由于三维空间中的点云的稀疏性，体素网格中存在大量的0值并且在进行标准的卷积运算时会有冗余计算。一些研究提出了稀疏卷积操作，只对有效的体素进行计算并输出在有效的卷积结果位置，大大提升了稀疏卷积的效率。关于稀疏卷积的详细解释可以参见这篇文章，（通俗易懂的解释Sparse Convolution的过程）。博主浅浅使用了两个不同的稀疏卷积框架进行评测，有一些自己的心得体会。
2025-05-15 20:49:38
1181
原创 3D场景图之SAM（Segment Anything Model）和 Segment Everything Mode
MobileSAMv2通过对象感知提示采样和框提示优化，解决了SAM在SegEvery任务中的效率瓶颈，同时保持或超越原有性能，为实时开放世界分割提供了实用解决方案。其与MobileSAM的结合，标志着分割基础模型在移动端应用的进一步成熟。代码已开源于MobileSAM项目链接[1]。网络架构上，MobileSAMv2仍然保持Image encoder,Mask decoder和Prompt encoder的模式。
2025-05-14 11:00:56
1489
原创 3D场景图综述《A Survey on 3D Scene Graphs: Definition, Generation and Application》2023
本文资源来自，仅用作学术分享，禁止传播，侵权删。本人在找3D场景图综述时没有找到对3DSG领域比较好的全面的最新的综述，这篇综述属于比较新的资源，做阅读笔记并分享。
2025-04-28 15:44:21
1064
原创 SA-DCT 形状自适应离散余弦变换 （python code）
形状自适应离散余弦变换的流程如上，首先以图中8x8的像素图片为例，对前景区域的每一列进行平移，使其顶部对齐，对每一列按数据长度进行一次离散余弦变换；接着平移所有变换过后的系数数据（系数的长度和数据的长度是相等的）左对齐，对每一行进行离散余弦变换得到变换结果。由于这篇论文发表于1998年（比我年纪还大），在中文互联网上的讨论比较少，但又是图像压缩中比较重要的技术，本篇博客对此进行补充。DCT直接用于图像压缩有一个问题，如果一张图存在前景和后景，只有前景需要压缩，那么DCT无法处理值的空缺和非矩形数据的压缩。
2024-07-09 17:29:47
526
原创 【点云压缩】Haar小波变换与RAHT自适应区域层级变换
最外层循环进行的条件是当前处理的节点数N>1，内层循环进行的条件是当前处理的节点索引i未大于当前层节点数S，取出待处理的i和i+1处的attributes，进行haar小波变换得到均值和差值的均值，N--，i+=2，haar变换后得到的值，均值放入attributesTransformed[M]，差值的均值放入attributesTransformed[N]，M++（N和M可以看做用来存放结果的游标，i则是读取属性的游标）。小波变换由一堆小波基和其系数组成，小波基又分为母小波（低频的）和父小波（高频的）。
2024-04-23 21:51:29
1877
原创 【视觉SLAM十四讲】视觉里程计1
尽管如此，在第一帧到第二帧确定t的尺度过后，可以用三角测量估计点的深度，后续用估计出的点的深度在第二帧和第三帧之间使用Pnp方法，求解第三帧的位姿，然后用三角测量确定更多匹配点的深度。单目视觉中由于基于三角测量的深度计算依赖于第一步计算出来的R、t，而Pnp的计算又依赖于三角测量的结果，Pnp的计算结果又用于计算三角测量。在相同的像素坐标系下，计算一个特征点的BRIEF描述子时，让描述子的坐标也旋转theta角度，在匹配具有相同像素特征但是旋转的特征点时，这种描述会具有旋转不变性。如果规定方向向量的角度。
2023-07-17 12:34:02
299
1
原创 【动手学深度学习】单发多框检测（SSD）
朴素的讲述，就是看真实的边框和锚框的交并比，从大到小排序，如果某个真实边框被分配给了锚框，那么所对应的行和列将会被丢弃，然后往下再找第二大的，直到所有真实边框被分配。然后再查找没有被分配到真实框的锚框的行元素，如果大于一定阈值，就给其分配真实边框。如果对大小为w*h的图像每个像素点生成锚框，缩放比和宽高比的数量分别为n和m，则总共有whnm个锚框。以每个像素点为中心生成锚框，又两个参数，分别为缩放比s和宽高比r，锚框的宽度和高度分别为。锚框A被分配了真实框B，则A的类别与B相同，真实边框的定义如下。
2023-07-16 10:26:18
373
1
原创 【Ubuntu18.04】解决笔记本副屏幕不工作的问题
推测造成只有外屏亮的原因是笔记本内置集成显卡和独立显卡冲突，进入BIOS里寻找显卡允许模式相关的设置，以机械革命极光PRO为例，进入Graphic selection->Display Mode 将MSHybrid 修改为GPU Only。其他笔记本应该也有类似的设置。进行完上一步过后，重新启动，你会发现笔记本主屏幕一直处于经典的黑屏命令光标界面，但是外接显示器还能正常使用，非常炸裂。安装完成后通过nvida-smi检查是否安装成功,安装成功如图，没成功返回上一步选择不同的选项试一试。
2023-05-16 19:28:05
3498
4
原创 【动手学深度学习】之 现代卷积神经网络 AlexNet VGGNet NIN 习题解答
d2l 沐神的动手学深度学习现代深度卷积网络的部分练习解答
2023-01-09 19:11:57
1924
2
原创 用python爬虫自动获取某网站吉他谱并保存文件
近日博主刚刚入门爬虫并且在不断学习基础知识，昨日下午室友问我能否爬出学校教务网的考试时间等信息做一个整合，博主进入教务网的主页后发现教务网全都是用js写的还有双层嵌套的网页，顿时感到无从下手，实在是学艺不精。于是弹起吉他开始摆烂，网上找谱的时候偶尔浏览到了一些页面结构比较简单的曲谱网站，于是尝试着写了一个能够自动保存吉他谱的爬虫。 简单的实现思路就是我们进入易唱网获取一首歌曲的信息 我们可以在源代码中找出标题和未经加密的曲谱图片的地址，然后爬取下载。...
2021-10-21 11:33:49
849
【主成分分析法和Kmeans聚类】全国大学生数学建模2022风化成分分析的论文和代码省一作品
2023-07-17
C语言大作业-捕鱼游戏（升级版黄金矿工）基于easyx库的vs源代码
2021-07-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人