- 博客(352)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 海康威视工业相机SDK二次开发（VS+Opencv+QT+海康SDK+C++）（二）
本文接上次的博客海康威视工业相机SDK二次开发（VS+Opencv+QT+海康SDK+C++）（一），上个博客中并未用到QT，本文介绍项目内容及源码，供大家参考。由于我的项目中是用海康相机作为拍照的一个中介，重点是在目标识别方向，请阅读源码时自动忽略。如果对目标识别感兴趣，可以参考我的YOLO系列https://blog.youkuaiyun.com/qq_45445740/category_9794819.html目录1.说明1.1 环境配置1.2 背景说明2.源码MvCamera.hmythread.
2021-02-28 11:47:47
26562
947
原创 海康威视工业相机SDK二次开发（VS+Opencv+QT+海康SDK+C++）（一）
最近在做一个项目，涉及到工业相机，需要对其进行二次开发。相机方面选择了海康威视，网上关于海康威视工业相机SDK的开发资料很少，自己也摸索了一段时间，请教大佬，终于有了些收获，记录下来，方面以后查阅。目录1.说明1.1软硬件相关配置1.1.1硬件选择1.1.2软件选择1.2关于安防相机与工业相机1.说明1.1软硬件相关配置1.1.1硬件选择工业相机我选择的是海康威视的，具体的参数如下：工业相机资料：https://c109334.hi1718.com/news/201831317343619.
2020-11-10 14:01:55
37200
64
原创 《Python神经网络编程》自己动手编写一个神经网络
最近在看一些经典论文，想要动手复现其中的代码，无奈自己水平过于低，总感觉对于神经网络的理解不够深入，于是想补一下相关的知识。便找到了《Python神经网络编程》这本书，若稍微有些基础看起来很快，看完之后给我的感觉是对于神经网络的基本知识、神经网络背后的核心思想有了更深的理解，及时记录下来，方便自己学习。首先附上这本书的PDF与相关资源链接：https://pan.baidu.com/s/1lcVimFBDDCYGTIi6xzxV_g提取码：oiv7...
2020-06-15 17:57:48
12974
14
原创 从双目视差到多基线测距：原理、误差公式与机器人视觉实践
从主动/被动双目、RealSense D405/D435i/D455，到基线、最小测距、深度误差及三目多基线视觉方案，一篇讲清楚。
2026-11-05 15:18:24
19
原创 单目深度查表的原理和计算过程梳理：从图像像素到地面物理坐标
像素 (u,v)↓ 相机内参相机射线方向↓ 相机外参机器人坐标系中的射线↓ 假设目标位于地面 Z=0射线与地面的交点 (X,Y,0)↓ 提前保存像素到物理坐标查找表相机内参决定一个像素对应的观察方向；相机外参决定相机在机器人上的位置和朝向；地面Z=0提供了从一条射线确定唯一交点所需的额外约束；查找表将复杂投影计算提前完成，使运行时只需一次数组查询；BEV 的倒梯形来自相机视场投影到地面后“近处窄、远处宽”的透视结构；
2026-10-28 13:16:54
448
原创 割草机器人单目相机外参标定
之前一直做的是机械臂的手眼标定（即相机外参标定），流程都是需要拍十几张标定板的图片进行计算。最近接触了割草机器人，发现量产中进行外参标定时，只需要拍一张标定板的图片就能计算得出割草机器人上相机的外参，当时没理解这样为什么可行，记录下来。
2026-10-28 11:13:09
323
原创 实战 - 人脸landmark五点检测从训练到预测
• Map-style数据集• 五点标定数据集与数据加载• Image – 图像• Landmarks – 五点坐标# __getitem__ 是一个特殊方法，它通常用于自定义数据集类（通常是继承自 torch.utils.data.Dataset 的类）# 这个方法可以通过索引来获取数据集中的单个数据样本。# 返回数据和对应的标签# 示例数据data = torch.randn(100, 3, 64, 64) # 100个样本，3个通道，64x64的图像。
2026-10-10 15:06:27
74
原创 HIL-SERL：通过人机协作强化学习实现精确灵巧的机器人操作
SERL：RL+Vision+Touch实现搜孔和插拔传统力控搜孔插孔：预先规划好移动的轨迹，这个规划的轨迹会覆盖搜孔区域，实际搜孔的过程中，需要紧贴孔位，按压式搜索，这时需要要求机械臂是软的否则会报碰撞，当搜到孔的那一瞬间力会突变，通过这个判断搜孔成功。强化学习+视觉插孔：通过计算目标位置的误差计算奖励，误差越小给的奖励越多。serl：真机强化：低配版，不维护：高配版人工在环，可以通过人工干预提高收敛时间硬件需求：2个D405、6D鼠标、带有阻抗或导纳的臂。
2026-10-10 13:10:45
41
原创 伴宠：基于八界的宠物定点投喂与家庭禁区守护
定点投喂＋家庭禁区守护”比单纯记录是否喂过更能体现八界的产品形态：移动底盘把感知和操作带到不同房间，头部与腕部相机负责全景和局部复核，机械臂承担固定对象的递送与放置，语音和地图则让机器人参与家庭空间管理。关键不是让机器人追着宠物跑，而是把动作限制在预设点位、固定物品和安全距离内。定点投喂从预分装餐盒开始，禁区管理从观察、提示和温和引导开始；每一步都留下图像、任务状态和事件记录。当这些基础环节形成稳定闭环之后，伴宠还可以继续扩展到多宠物分区投喂、宠物用品递送、厨房巡查和家庭事件提醒。
2026-10-09 22:26:45
18504
1
原创 关于智能割草机器人调研
目标： 建立面向智能割草机器人研发的竞品数据库。内容维度： - 公司信息 - 产品型号 - 官方链接 - 硬件参数 - 传感器配置 -软件系统 - APP功能 - 上位机交互 - 用户反馈 - 研发启发
2026-09-30 16:14:00
418
原创 目标分割中关于mask到bev的映射
最近刚开始研究割草机相关开发，硬件上是单目相机，通过实例分割检测之后再将其拍平转换到BEV视角，由于之前没接触过，有点纳闷为什么mask转换后的BEV图是一个倒梯形的形状。
2026-08-05 22:46:04
60
原创 Cosmos3（面向物理人工智能的全模态世界模型）
Cosmos3 是 NVIDIA 面向 Physical AI 的全模态世界模型，能够在统一框架中处理和生成文本、图像、视频、声音与动作。本文首先介绍 Cosmos3 的定位、功能与模型结构，再总结使用 Cosmos3-Nano 进行真实草坪场景图生视频（I2V）开发的方案、结果与经验。实践表明：对于需要保留真实环境身份的任务，以真实图片作为首帧条件的 I2V 比纯文本生成更适合建立可控、可复现和可追溯的数据生产流程；但 Prompt、seed 和自动质检都不能替代真实运动标定与人工验收。
2026-07-23 10:16:06
45
原创 Stable Fast 3D（SF3D）——单张图片快速生成3D模型
这是Stable Fast 3D的官方代码库，这是一个最先进的开源模型，用于从单个图像快速进行3D网格重建。Stable Fast 3D 基于TripoSR），但引入了几个新的关键技术。首先，我们明确地优化模型，以生成没有瑕疵的良好网格以及带有 UV 展开的纹理。我们还对颜色进行去光照处理，并预测材质参数，以便可以很容易地集成到游戏中。我们在实现所有这些的同时，仍然保持了 TripoSR 的快速推理速度。实测虽然生成的3D模型质量上提升并不明显，但是生成速度相比于其他算法（如TripoSR）更快。
2026-07-20 19:32:53
337
原创 VLA——openpi0.5训练部署自定义数据
如果为真，则在传递给模型之前，将关节尺寸转换为相对于当前状态的增量;夹持器尺寸将保持为绝对值# 如果提供了该值，且“prompt”键不存在，则将其注入到输入数据中# 如果为真，这将把关节和抓取器的值从标准Aloha空间转换到用于训练基础模型的pi内部运行时所使用的空间# 是否使用 XDof 格式的布尔掩码（控制哪些动作维度做增量变换），默认关闭（使用标准掩码）inputs=[
2026-07-20 10:40:43
206
原创 UR5e力控测试
这四个 API 是工业机械臂力控模式（Force Mode） 的核心接口，主要用于让机械臂在指定坐标系下对环境施加可控的力 / 力矩，而非单纯的位置控制（如示教器的点到点运动）。设置力控模式下的阻尼系数，控制机械臂在柔顺轴上的 “运动缓冲特性”—— 阻尼越高，机械臂在无外力时减速越快，运动越 “稳重”；缩放力控模式的 “力控增益”—— 增益越高，机械臂对 “实际力与目标力的偏差” 响应越灵敏（调整位置的速度越快）；硬表面推紧（如金属工件装配）：缩放系数设为0.5~0.8（避免因响应过快导致碰撞）；
2026-07-19 22:50:27
215
原创 关于ACT训练和推理时图像和state的token分析
最近在做UMI采集的数据验证时，发现一个很奇怪的现象。：UMI采集的数据中轨迹点state是基于起点的，所以轨迹信息可以理解为是绝对的位姿信息，在模型训练时state就是UMI中的数据即绝对位姿，没有做修改，只是action是使用的相对的方式进行训练的（参考。
2026-07-19 22:48:04
158
原创 单头注意力（Single-Head Attention）
单头注意力计算目的：计算一句话里的每个词，让每个词去"问"所有其他词"你跟我有多相关？"，然后根据相关度，把其他词的信息加权汇总到自己身上。多头就是把 Q、K、V 各切成 N 份，每份独立做一遍上面这套流程，最后拼回来再过一遍线性层。
2026-06-08 18:31:03
274
原创 ACT使用总结
则当qpos是第1帧时，对应的aciton是第1、2、3、4、5帧，同时action要变成基于qpos第1帧的位姿（即假设qpos的位姿是A，action的位姿是B），则B相对于A的位姿的数值就是当前第1帧的action数值，同时第2、3、4、5帧action的数值都是相对于qpos的位姿A的；当qpos是第2帧时，对应的aciton是第2、3、4、5、6帧，同时action要变成基于qpos第2帧的位姿，逻辑和上面一样；当qpos是第4帧时，对应的aciton是第4、5、6帧。
2026-05-28 15:06:06
62
原创 机械臂轨迹规划（Ruckig）
核心特性：核心接口：Demo 1 - 基础点到点运动（6自由度机械臂关节空间）输出：Demo 2：遥控操作实时跟踪（在线重规划）输出：Demo 3：速度控制接口（适合笛卡尔空间遥控操作）输出：
2026-05-08 14:37:00
138
原创 UniVTAC（视触觉使用、ACT）
2.在ACT模型训练时，backbone中使用resnet18时，加载基于触觉训练的预训练权重（encoder/checkpoints/resnet18/20251128-125750/best.pth），用实际真机采集的触觉RGB图像作为输入。该脚本会通过 ModelScope 下载 byml2024/UniVTAC 数据集，其中包含了预训练权重文件。
2026-04-24 11:29:35
184
原创 3D视觉机器人中手眼标定的精度提升方法记录——ICP算法
首先应该对两个点云进行一个去质心的操作，然后将去质心以后的对应点相乘，对前N项进行一个求和，得到一个3x3的矩阵，再对这个矩阵进行奇异值分解，将奇异值分解以后得到的矩阵V乘以矩阵U的转置，得到我们想要的旋转矩阵R，再把这个R代入到一个公式中，用CQ减去R乘以CP得到了平移矩阵t。1.首先准备一个标定板（这里以棋盘格标定板为例），将其放置于相机视野内的任何一个地方，放置之后用相机来拍摄这个标定板，获取标定板上面所有角点的坐标（x,y,z），因为是3D相机，所以知道每个角点在相机坐标系下的坐标，将其设为。
2026-04-17 17:02:01
648
原创 关于UMI使用中增加轨迹点在线逆运动学解算功能
这里以UR5e机器人为例：online_ik.py这里用了两组不同的ref_q和target_p和UR官方逆解库算出来的数值进行对比：
2026-04-13 17:09:18
208
原创 TAMEn: Tactile-Aware Manipulation Engine for Closed-Loop Data Collection in Contact-Rich Tasks—关于UMI
论文中指出在双臂的线束安装任务中，如果不采用在线的运动学校验，采集的数据可用率只有12%，因为人形臂受限于物理限位如下图所示，二关节运动范围只有正负105度，可工作区域很有限，它不同于协作机械臂的构型（基本6个关节都是正负360度）。可能是因为模仿学习是需要高质量的数据吧，毕竟目前复现的工作中，也是要求UMI的夹爪构型要和实际部署机械臂的夹爪构型要是一致的。对于模仿学习而言，数据的质量是很重要的，如果采集到的轨迹不能在机械臂上replay出来，是很影响模型的学习效果的。使用的是JAKA双臂平台。
2026-04-13 16:19:52
78
原创 关于UMI坐标系的选择和数据轨迹在真机上进行replay
基于上面的结论，UMI输出的轨迹点（即IMU输出的轨迹点）都是相对于IMU世界坐标系的，所以拿到UMI数据后，不能直接认为是相对于TCP起点的位姿增量，需要将UMI的原始数据进行处理，即将所有的轨迹点都转换到相对于UMI起始点的位姿，保证起始点的位置都是0，姿态是单位矩阵，否则在机械臂replay出来的轨迹有偏差。在UMI设备中，通常是由带IMU的设备来提供位姿pose，上图中是由运动相机提供的，相当于是整个UMI设备的中心原点在IMU中，但是这样得到的轨迹没有在整个UMI设备的中心。
2026-04-10 15:50:08
112
原创 关于ACT模型使用时的注意点和部署调试方法
在模型训练好之后，需要写部署的相关代码，在真机进行测试推理验证前，可以通过将训练集中的数据作为观测obs输入给模型，然后模型预测输出得到的action和训练集中的action进行比较，绘制曲线来比较，结果应该是很贴和的（毕竟是基于这组数据训练的模型）。=50，那么在模型推理中也需要设置为50，但不一定要全部执行完再推理，因为越往后的action就和初始的观测误差较大，可根据情况选择，这里选择执行前30步，效果最佳。的逻辑是否正确，是否和训练时候的处理逻辑一致。，在ACT中训练集中的action就是作为的。
2026-04-09 22:14:26
77
原创 关于UMI设备采集数据的模型训练方法
模仿学习如专家模型、VLA模型，ACT、DP、openpi等算法模型训练时，都是使用的机器人的绝对位姿或关节角；而UMI记录的轨迹是相对于UMI起始点的，可以理解为是相对于起点的绝对增量，对应到机器人中就是相对于末端TCP的增量。在用模型进行训练时，当然可以，但这样进行模型训练的话达不到跨本体的能力，因为模型本身还是学习的基于机器人base坐标系的绝对位姿关系，倘若用这种方式进行处理，则UMI可以理解为是一个遥操的方法，本质还是记录的机器人的state。在看了和。
2026-04-09 13:28:03
420
原创 ACT 算法工程实践：多个角度的图像数据集处理
中图像是统一resize到(224x224)的大小，ACT算法我找了半天没找到哪里进行resize了，好像只需要保证输入的多个图像保持大小一致就行。因为上次是单臂+单相机，除了每个episode数据集的长度要保持一致外训练和推理没出现什么问题，这次加了两个视觉的模态后，训练后报错了。之前在UR5e上复现并部署了ACT算法，最近因为加了两个视触觉传感器，同时采用UMI进行数据采集（基于Δpose）和模型训练。因为此时我的任务中已经是三个图像数据，且它们的大小不一致，这里无法进行。
2026-03-31 23:02:56
96
原创 Universal Manipulation Interface（UMI） 学习
代码仓库：IMU数据可以将人手采集的数据平移到机器人设备上Dexcap和Umi的区别：Dexcap输入的是两个腕部相机和头顶相机的SLAM轨迹，而不是Umi的rgb图像。1.Q：推理时延迟匹配是什么意思？推理时延迟匹配和相对轨迹动作表示（policy interface with inference-time latency matching and a relative-trajectory action representation）2.Q：推理时延迟匹配其次，我们探索了
2026-03-28 20:55:19
588
原创 VLA-Touch: Enhancing Vision-Language-Action Models with Dual-Level Tactile Feedback（触觉与VLA）
双层级触觉反馈可同时提升VLA模型的规划效率与操控精度，语言化触觉表示更适配VLM，插值扩散控制器优于传统残差控制器。
2026-03-28 20:51:18
460
原创 Action Chunking with Transformers (ACT)：本地部署、自定义数据集训练与 UR 机械臂端到端推理实现
区别：ACT算法通过动作分块降低模仿学习的复合误差、时间集成提升动作平滑性，并结合CVAE建模人类演示的随机性，ACT 是专为精细操作设计的端到端模仿学习算法，核心解决复合误差、人类演示随机性问题，实现从 RGB 图像 + 关节位置到动作序列的直接映射。传统的机器算法过程是观测关节位置J1经过模型预测动作A2然后执行，观测到J2预测数A3，观测到J3遇到A4依次类推，即每执行一步都要重新观测环境（如拍摄一张照片），走一步采集一步预测一步，这样就有一个问题，假设预测出的A2跟实际相比偏差就比较大那么对应的观
2026-03-27 11:35:39
505
2
原创 关于眼在手外的相对误差计算和分析
在手眼标定中，一般有两种误差衡量方法：相对误差和绝对误差。本文讨论的是相对误差，眼在手上标定后得到相机和机械臂TCP的关系，可以基于标定板不变的前提将反算回去，从而进行误差的计算。但是眼在手外标定求出的是相机和机械臂基座的关系，虽然标定板和TCP固定不变，但直接将反算回去和原先的好像并不能直接计算误差，虽然标定板固定在机械臂末端上，但它们之间存在固定的变换关系，无法等同。
2026-03-08 23:30:30
523
原创 UMI：将采集到的Δpose映射到实际机器人中进行轨迹回放
最近在研究UMI，买了一款带IMU的相机，可以对外输出相机的位姿pose，因为模仿的是UMI设备，在开始采集pose时，将起点置为原点即pose为0。后续的轨迹点都是基于起点为原点的，即Δpose。现在需要将采集到的轨迹点在机械臂上进行replay。
2026-02-03 23:38:08
332
原创 关于强化学习入门理解和示例
PS：当价值的初始值为0时，这个初始值是不计入之后的平均计算的，也就是说任何行动尝试了一次之后，就用实际获得的奖励值替代了初始值，这样如果选择了一个很高的初始期望值，同样不把它计入之后的平均计算，实际的结果就相当于所有的行动都尝试一遍再采取贪婪的选择。这里以当前两个老虎机为例，如果设价值初始值都为0，则一开始随机选择其中一个进行行动之后，则它的价值就不为0，根据贪婪策略，下一次选择价值更高的进行行动，则一开始选择哪个老虎机之后就会一直选择它，显然是不合理的。Trial and Error 试错。
2026-02-01 22:30:00
788
原创 Record3D 获取iphone RGBD 和 pose
最近准备复现Universal Manipulation Interface 遥操，在选择相机时，考虑到先快速验证下视觉模块，刚好手里有台 iphone 15 pro，这不巧了嘛，iphone自带LiDAR，有RGB图像、深度图、pose，刚好满足数据采集的需要。
2026-01-23 10:09:58
490
原创 Python封装源代码为.so文件
C++开发中，可以将cpp源文件封装为.so库，只给用户暴露.h头文件，最近在用Python进行开发，需要将功能给用户测试使用，又不希望暴露源代码，可以选择将源文件编译为.so库，然后再增加一份API的说明文档即可。
2026-01-21 14:31:26
333
Linux实时内核5.15.137
2024-01-27
turbovnc-3.0.3-amd64.deb virtualgl-3.1-amd64.deb
2023-04-21
ubuntu16.04源码编译wireshark2.6.10
2022-06-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人