将ORB-SLAM3用图像增强的方式打开

视觉AI技术趋势解析:从模型小型化到工业应用实战 计算机视觉作为人工智能的核心分支,其核心原理是通过算法让机器“看懂”图像与视频内容。随着深度学习技术的成熟,视觉AI正从追求精度的模型竞赛,转向追求实用性的工程化落地。这一转变催生了模型小型化与边缘部署的刚需,使得视觉算法能够在资源受限的嵌入式设备上实时运行,从而释放出巨大的技术价值。在工业制造、机器人、无人机等应用场景中,视觉系统正从单一的“检测”功能,演进为复杂的“感知与引导”系统,实现与机器人控制、多模态理解的深度融合。例如,模型压缩与量化技术使得轻量级网络能在工控机上高效执行定位任务,而视觉-语言模 阅读详情

ORB-SLAM3在复杂光照环境下,特征提取和特征匹配的性能明显下降,其准确性和鲁棒性收到很大影响,尤其是当周围环境获取的ORB特征点数量不足时,位姿的估计过程无法进行,甚至或导致初始化和跟踪失败的情况,目前工程所需在复杂光照下运行SLAM,ORB-SLAM3是工程性非常好的SLAM算法,所以打算将图像增强用于ORB-SLAM3的特征提取,增强光照环境下的鲁棒性。

一、图像增强

1、拉普拉斯算子

拉普拉斯算子,也称为拉普拉斯滤波器或拉普拉斯掩模,是一种用于图像处理的卷积核。它在图像中执行二阶导数操作,有助于检测图像中的变化率,特别是边缘。通过将拉普拉斯算子应用于图像,我们可以增强图像中的边缘,使它们更加突出。

2、自定义拉普拉斯算子

(1)加载图像
(2)定义自定义拉普拉斯卷积核
cv::Mat kernel = (Mat_<float>(3, 3) <<
		1, 1, 1,
		1, -8, 1,
		1, 1, 1);
(3)应用自定义拉普拉斯卷积核

将使用 filter2D 函数将自定义拉普拉斯卷积核应用于图像:

Mat imglap;
filter2D(image, imglap, -1, kernel);
(4)显示处理结果
Mat result;
result = image - imglap;

g ( x , y ) = f ( x , y ) + c [ ∇ 2 f ( x , y ) ] g(x,y)=f(x,y)+c\bigg[\nabla^2f(x,y)\bigg] g(x,y)=f(x,y)+c[∇2f(x,y)]

f(x,y)和g(x,y)分别是输入图像和锐化后的图像。 原图像 + c * (拉普拉斯算子卷积后的图像) = 锐化后的图像。

这里的卷积核如果采用上公式a和b,则参数c=-1;如果使用的是后面两个公式,则c=1

二、修改ORB-SLAM3的跟踪线程

1、对图像进行了灰度化

这里使用了 OpenCV 的 cvtColor 函数,将彩色图像img转换为灰度图像 gray_img。COLOR_BGR2GRAY 参数指定了转换的方式,即从 BGR 彩色空间转换到灰度空间。

Mat gray_img;
cvtColor(img, gray_img, COLOR_BGR2GRAY);

2、拉普拉斯算子锐化

使用了 OpenCV 的 Laplacian 函数来应用拉普拉斯算子。该函数接受灰度图像 gray_img 作为输入,然后将结果存储在 output_img 中。CV_8U 参数指定了输出图像的数据类型,即8位无符号整数

// Apply Laplacian operator
Mat output_img;
Laplacian(gray_img, output_img, CV_8U);

将拉普拉斯算子的处理过程放在了构造函数中。

在构造函数中,首先对图像进行了灰度化,然后应用了拉普拉斯算子,并将处理后的图像传递给了 FrameDrawer。接下来,跟踪线程的主循环 Run 函数需要添加具体的跟踪逻辑

#include "Tracking.h"
#include "ORBmatcher.h"
#include "FrameDrawer.h"
#include "Converter.h"
#include "G2oTypes.h"
#include "Optimizer.h"
#include "Pinhole.h"
#include "KannalaBrandt8.h"
#include "MLPnPsolver.h"
#include "GeometricTools.h"

#include <iostream>
#include <mutex>
#include <chrono>

using namespace std;

namespace ORB_SLAM3
{

Tracking::Tracking(System *pSys, ORBVocabulary* pVoc, FrameDrawer *pFrameDrawer, MapDrawer *pMapDrawer, Atlas *pAtlas, KeyFrameDatabase* pKFDB, const string &strSettingPath, const int sensor, Settings* settings, const string &_nameSeq):
    mState(NO_IMAGES_YET), mSensor(sensor), mTrackedFr(0), mbStep(false),
    mbOnlyTracking(false), mbMapUpdated(false), mbVO(false), mpORBVocabulary(pVoc), mpKeyFrameDB(pKFDB),
    mbReadyToInitializate(false), mpSystem(pSys), mpViewer(NULL), bStepByStep(false),
    mpFrameDrawer(pFrameDrawer), mpMapDrawer(pMapDrawer), mpAtlas(pAtlas), mnLastRelocFrameId(0), time_recently_lost(5.0),
    mnInitialFrameId(0), mbCreatedMap(false), mnFirstFrameId(0), mpCamera2(nullptr), mpLastKeyFrame(static_cast<KeyFrame*>(NULL))
{
    // Load camera parameters from settings file
    if(settings){
        newParameterLoader(settings);
    }
    else{
        cv::FileStorage fSettings(strSettingPath, cv::FileStorage::READ);

        bool b_parse_cam = ParseCamParamFile(fSettings);
        if(!b_parse_cam)
        {
            std::cout << "*Error with the camera parameters in the config file*" << std::endl;
        }

        // Load ORB parameters
        bool b_parse_orb = ParseORBParamFile(fSettings);
        if(!b_parse_orb)
        {
            std::cout << "*Error with the ORB parameters in the config file*" << std::endl;
        }

        bool b_parse_imu = true;
        if(sensor==System::IMU_MONOCULAR || sensor==System::IMU_STEREO || sensor==System::IMU_RGBD)
        {
            b_parse_imu = ParseIMUParamFile(fSettings);
            if(!b_parse_imu)
            {
                std::cout << "*Error with the IMU parameters in the config file*" << std::endl;
            }

            mnFramesToResetIMU = mMaxFrames;
        }

        if(!b_parse_cam || !b_parse_orb || !b_parse_imu)
        {
            std::cerr << "**ERROR in the config file, the format is not correct**" << std::endl;
            try
            {
                throw -1;
            }
            catch(exception &e)
            {

            }
        }
    }

    initID = 0; lastID = 0;
    mbInitWith3KFs = false;
    mnNumDataset = 0;

    vector<GeometricCamera*> vpCams = mpAtlas->GetAllCameras();
    std::cout << "There are " << vpCams.size() << " cameras in the atlas" << std::endl;
    for(GeometricCamera* pCam : vpCams)
    {
        std::cout << "Camera " << pCam->GetId();
        if(pCam->GetType() == GeometricCamera::CAM_PINHOLE)
        {
            std::cout << " is pinhole" << std::endl;
        }
        else if(pCam->GetType() == GeometricCamera::CAM_FISHEYE)
        {
            std::cout << " is fisheye" << std::endl;
        }
        else
        {
            std::cout << " is unknown" << std::endl;
        }
    }

#ifdef REGISTER_TIMES
    vdRectStereo_ms.clear();
    vdResizeImage_ms.clear();
    vdORBExtract_ms.clear();
    vdStereoMatch_ms.clear();
    vdIMUInteg_ms.clear();
    vdPosePred_ms.clear();
    vdLMTrack_ms.clear();
    vdNewKF_ms.clear();
    vdTrackTotal_ms.clear();
#endif

    // Perform Laplacian operator on initial frame
    string img_path = "S:/datasets/coco2017/train/images/000000000009.jpg"; // Replace with your image path
    Mat img = imread(img_path);

    Mat gray_img;
    cvtColor(img, gray_img, COLOR_BGR2GRAY);

    // Apply Laplacian operator
    Mat output_img;
    Laplacian(gray_img, output_img, CV_8U);

    // Pass the processed image to the FrameDrawer
    mpFrameDrawer->UpdateImage(output_img);

    // Set the initial state to NO_IMAGES_YET
    mState = NO_IMAGES_YET;
}

void Tracking::Run()
{
    while (1) {
        // Here goes your tracking loop
    }
}

#ifdef REGISTER_TIMES
// Define your time statistics functions here
#endif

}

3、追踪效果演示

在ROS中运行改进后的ORB-SLAM3可以看出,在大太阳的操场上依旧有着不错的追踪效果和特征点数量
在这里插入图片描述

三、总结

在本次实验中更加充分的了解了ORB-SLAM3算法的各个模块以及实验原理,熟悉了拉普拉斯锐化图像。ORB-SLAM 3设置了很多固定值,这次把使用手动设置FAST角点的阈值 Θ,设置为图像增强计算后的值。虽然增加了对光照的鲁棒性,但是相对的,特征提取阶段的时间花销会更多。

如果想改进已有的算法以获得在数据集上的视觉里程计定位精度上的提升,比较困难。

如果是在实际场景中发现已有的框架(例如ORB-SLAM3)的定位精度不能达到论文中,或者预想的精度,那么这个事情是可以根据实际场景讨论的。

ORB-SLAM策略思考之ORB特征点提取 ORB-SLAM中特征点提取策略 阅读详情

相关推荐

ICRA2024开源!增强ORB-SLAM3:全新双目VIO初始化来了!

我们提出了一种准确而稳健的双目视觉惯性SLAM系统初始化方法。与当前最先进的方法不同,后者严重依赖于纯视觉SLAM系统的准确性来估计惯性变量,而不更新相机姿态,这可能会影响准确性和稳健性,我们的方法提供了一种不同的解决方案。我们意识到精确陀螺仪偏置估计对旋转准确性的关键影响。这反过来又会由于累积的平移误差而影响轨迹准确性。为了解决这个问题,我们首先独立估计陀螺仪偏置,并使用它来制定进一步细化的最大后验问题。在这一细化之后,我们继续通过从陀螺仪测量中去除陀螺仪偏置来执行IMU积分以更新旋转估计。

计算机视觉工坊 1241

ORBSLAM3 的改进

周六看到了ORBSLAM3的源码,安装运行后看了一下其代码结构,因为加IMU的部分是针对之前的ORB-VI, 因此大家可以参考jinpang的LearnORBVI可以更纯粹地学习视觉+IMU的组合; 这篇文章主要是针对其在Tracking线程做出的改动,尤其是添加Atlas后对Tracking部分的影响,LoopClosing和MapMerging的部分会在后面的分析中讲到,有错误也欢迎各位指正。 ORBSLAM3相对于ORBSLAM2做出的主要改动: 1. Atlas: 用于保存很多琐碎的地图;主要

1万+

ORB_SLAM3:前沿SLAM技术的突破与实践

本文还有配套的精品资源,点击获取 简介:ORB_SLAM3是机器人和自动驾驶领域中SLAM技术的最新进步,特别是在IMU数据融合和多地图管理方面。它通过深度整合IMU数据来提高定位稳定性和减少漂移,同时解决了大规模环境中的循环闭合问题。支持多传感器配置,包括单目、双目和鱼眼相机,ORB_SLAM3能够构建精确的地图并进行有效的视觉惯性里程计(VIO)估计。此外,它还优化了回...

weixin_42234168的博客 1971

ORBSLAM3代码笔记——特征点提取

ORBSLAM3前端源代码分析————特征点的提取

qq_34716695的博客 1881

动态博弈、威胁与承诺(博弈论入门学习笔记四)

0 动态博弈 动态博弈:行动有先后顺序,不同的参与人在不同时点行动,先行动者的选择影响后行动者的选择空间,后行动者可以观察到先行动者做了什么选择。例如下棋、消费者和商家讨价还价、谈婚论嫁、企业之间的价格战等等。 因此,为了做出最优的行动选择,每个参与人都应该思考:如果我如此选择,对方将如何应对?如果我是他,我将会如何行动?给定他的应对,什么是我的最优选择? 动态博弈中的战略:在博弈开始之前就...

stepho的博客 1万+

AI驱动Spine骨骼动画生成:从图像拆分到动画自动化的全流程解析

计算机视觉与生成式AI技术正深度赋能传统数字内容生产流程。在2D动画制作领域,骨骼动画技术通过模拟真实生物关节运动,实现了角色动画的高效制作与灵活控制。其核心原理在于将角色拆分为独立部件,通过骨骼层级关系驱动部件变换,结合关键帧插值算法生成流畅动作。这项技术的工程价值在于大幅降低动画制作门槛,提升内容生产效率,尤其适用于游戏开发、影视预演、广告设计等需要快速原型迭代的场景。本文聚焦于如何利用SIFT特征匹配、RANSAC几何验证等CV算法实现部件自动对位,并结合动画12原则的程序化实现,构建从单张角色立绘到

weixin_28696185的博客 1544

ORB-SLAM3在关键点特征提取方面如何加入深度学习算法模型

由于深度学习特征描述子通常具有较高的维度和丰富的特征表示能力,可能需要调整ORB-SLAM3的特征匹配算法,以适应新的特征描述子。通过将深度学习算法模型与ORB-SLAM3结合,可以提高SLAM系统在复杂场景中的稳定性和鲁棒性,同时增强其对图像特征的提取和描述能力。在实际数据集上进行评估,比较使用深度学习特征描述子和传统ORB描述子的SLAM性能,例如定位精度、地图建立效率等指标。将深度学习算法模型与ORB-SLAM3结合,特别是在关键点特征提取方面,可以为SLAM系统带来更强大的特征描述和匹配能力。

qq_44962351的博客 1073

固定资产报废的损失鉴定怎么做?

在社会生产的日常中,企业经常会遇到固定资产报废的损失鉴定,那么怎么去做鉴定?哪些情况下能申请固定资产报废损失鉴定呢? 今天,华碧鉴定就和大家说一说固定资产报废损失鉴定那些事儿。 符合下列条件之一的固定资产可申请报废: 1、使用年限过长,功能丧失,完全失去使用价值,或不能使用并无修复价值的; 2、产品技术落后,质量差,耗能高,效率低,已属淘汰且不适于继续使用,或技术指标已达不到使用要求的; 3、严重损坏,无法修复的或虽能修复,但累计修理费已接近或超过市场价值的; 4、主要附件损坏,无.

weixin_50362670的博客 2118

51c视觉~CV~合集3

基于深度学习的方法在某些工业产品的表面缺陷识别和分类方面表现出优异的性能, 然而大多数工业产品缺陷样本稀缺, 而且特征差异大, 导致这类需要大量缺陷样本训练的检测方法难以适用. 提出一种基于重构网络的无监督缺陷检测算法, 仅使用容易大量获得的无缺陷样本数据实现对异常缺陷的检测. 提出的算法包括两个阶段: 图像重构网络训练阶段和表面缺陷区域检测阶段. 训练阶段通过一种轻量化结构的全卷积自编码器设计重构网络, 仅使用少量正常样本进行训练, 使得重构网络能够生成无缺陷重构图像, 进一步提出一种结合结构性损失和L1

whaosoft~aiotの开发板商城 3066

具身智能四大技术路线:VLA、大小脑、世界模型与强化学习

具身智能是机器人实现感知-决策-执行闭环的核心范式,其本质在于物理世界中的具身化交互能力。技术演进围绕如何高效建模环境、理解指令并生成鲁棒动作展开,衍生出四大主流路径:视觉-语言-动作(VLA)端到端学习、大小脑分层控制、世界模型驱动预测,以及强化学习原生策略优化。VLA强调多模态对齐与泛化能力,适合语义理解优先场景;大小脑架构兼顾实时性与可解释性,是工业落地的高可靠选择;世界模型追求内在物理模拟,代表长期认知跃迁方向;强化学习则扎根仿真试错,在力控、抓取等连续控制任务中展现强鲁棒性。本文聚焦这四大路线的技

weixin_32181267的博客 300

天爱验证码wasm验证码逆向

本文分析了某网站采用WASM加密技术的情况,发现其加密方式主要针对data和轨迹信息,整体加密逻辑变化不大。通过反混淆技术可以还原代码,并确认加密过程分为两步:先对原始参数逐个加密,再调用WASM模块进行最终加密。研究发现关键参数drives和ki都存储在WASM模块内,通过提取wasm_exec.js文件即可直接使用该加密功能。本文仅提供技术研究思路,强调严禁用于任何违法行为。

码王吴彦祖的博客 937

拉普拉斯核在物体检测中的应用与优化

1.背景介绍 物体检测是计算机视觉领域的一个重要任务,它涉及到识别图像或视频中的物体、场景和动作。随着深度学习技术的发展,卷积神经网络(CNN)已经成为物体检测任务中最常用的方法之一。然而,在实际应用中,CNN 模型的训练和优化仍然面临着许多挑战,如过拟合、计算开销等。为了解决这些问题,研究者们在传统的图像处理方法和深度学习技术上进行了大量的研究和实践,其中拉普拉斯核(Laplacian ker...

AI天才研究院 903

5步VS传统WinForm!AntdUI让界面设计从“土味”到“超模”只需30秒?

摘要:墨瑾轩编程教程《AntdUI的5大魔法步骤》详解如何将传统WinForm升级为现代化UI。教程通过5个核心步骤:安装AntdUI库、控件替换、主题定制、复杂布局构建及实战案例演示,对比传统开发与AntdUI在美观度(动态阴影/动画)、开发效率(拖拽组件VS手工绘制)和主题定制(一键换肤VS重写控件)的显著差异。使用C#代码示例展示按钮动画、3D翻转、聊天界面等特效实现,帮助开发者快速掌握这一基于Ant Design风格的WinForm增强框架。(150字)

java专栏 1129

超全汇总 | ORB-SLAM2 / ORB-SLAM3 相关改进代码!

点击上方“3D视觉工坊”,选择“星标”干货第一时间送达作者丨小深来源丨深话AI本文总结了特征点法SLAM中目前效果最好的方法:ORB-SLAM2 / ORB-SLAM3 相关改进代码汇总,...

3D视觉工坊 1万+

密码学与信息安全面试题及参考答案(2万字长文)

密码学是一门研究信息安全的学科,它涉及加密、解密以及保护数据免受非授权访问的技术和方法。这门学科的核心在于设计并分析各种协议,使通信双方即使在存在潜在敌手的环境中也能安全地传输信息。保密性:确保信息只能被预期的接收方读取,阻止未经授权的第三方获取信息的真实内容。完整性:保证数据在传输过程中不被篡改,确保接收方接收到的信息与发送方发送的信息完全一致。认证性:验证信息的来源,即确认信息确实是由声称的发送方发出的。不可否认性:确保发送方不能在事后否认曾经发送过某条信息。访问控制。

大模型大数据攻城狮的专栏 1996

ESP32开发进阶:1.接入文心一言

ESP32开发进阶:接入文心一言大模型,串口对话

qq_53529450的博客 1433

ORB-SLAM3中的优化

ORB-SLAM3优化

超爱吃小蛋糕的66的博客 764

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

重磅!ORB-SLAM3优化问题(g2o与ceres)

3D视觉工坊 707

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

ORB_SLAM3思路扩展

ORB-SLAM3生成的是稀疏点云地图,无法直接用于导航任务,直接使用ORB-SLAM3只能使用定位功能。将ORB-SLAM3用于导航,需要对稀疏点云稠密化,构建稠密地图。

weixin_47006778的博客 1611

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

浅谈ORB-SLAM3

  ORB-SLAM3一经提出便广受好评(与上一代时隔3年,2020年推出),不仅适用范围扩大,而且精度、速度、鲁棒性都大大得到扩展。ORB-SLAM3还是延续了ORB-SLAM1、2的一贯思路。但整体来看,3和2的区别要远大于2和1的区别。这篇文章主要介绍3的一些改进。ORB-SLAM3兼容纯视觉、视觉惯性融合、构建多地图。   先把3的系统结构图摆出来:   从系统结构图上可以看出,ORB-SLAM3引入了IMU模块,同时增加了ATLAS部分,其余没有太大的变化。   下面介绍一下ORB-SLAM3新

gls_nuaa的博客 2069

《opencv实用探索·十二》opencv之laplacian(拉普拉斯)边缘检测,Scharr边缘检测,Log边缘检测

ddepth: 输出图像的深度,若src为CV_8U,则可取-1/CV_16S/CV_32F/CV_64F;若src为CV_16U/CV_16S,可取-1/CV_32F/CV_64F;ddepth:输出图像的深度,若src为CV_8U,则可取-1/CV_16S/CV_32F/CV_64F;Laplacian算子具有各方向同性的特点,能够对任意方向的边缘进行提取,具有无方向性的优点,因此使用Laplacian算子提取边缘不需要分别检测X方向的边缘和Y方向的边缘,只需要一次边缘检测即可。

cs1395293598的博客 5109

ORB_SLAM3配置及修改——将图像、点云用ROS消息发布(基于无人机仿真)

修改ORB_SLAM3源码,实现点云数据及图像数据导出,并实现用ROS消息发布点云与图像

Und_waasj的博客 5849

ORB-SLAM3显示彩色图----图像处理杂学

强迫症的发现在Sophus::SE3f Tracking::GrabImageRGBD(){}里将RGB图转换成灰度图。当然ORBSLAM的作者全部专程转成灰度可能是为了方便处理,但是我看好多论文都是彩色图,可能就是有颜色的唯一好处,好看点。本来想着用下面·的命令将灰度图转回RGB彩色图,但是结果失败了,依然是灰度图。在跑ORBSLAM3的时候,发现最后呈现的结果是灰色图,没有颜色。转换回来的 RGB 图 中,三个通道(R、G、B)的值是相同的。

wsw_wsw_的博客 267

01-ORB-SLAM3源码阅读(一)程序简介、编译调试、基础知识点

ORB 指 Oriented FAST and rotated BRIEF,是一种结合 FAST 和 BRIEF,并引入旋转不变性的一种特征点和描述子;SLAM 指 Simultaneous Localization and Mapping,指的是同时进行实时定位和地图构建。ORB-SLAM3 是迄今为止,最完整的视觉惯性 SLAM 系统系统,它是第一个集成了单目相机、双目相机、RGB-D相机,以及单目相机结合 IMU、双目相机结合 IMU 的 SLAM 系统。并且在 ORB-SLAM2 的基础上,改进了相

实践出真理,接毕设/课设项目开发指导 1829

ORB-SLAM3论文概述

ORB-SALM3论文学习总结

超爱吃小蛋糕的66的博客 1103
上一篇: 图像增强技术总结
下一篇: SolidWorks上手直接开整
极客范儿
极客范儿 新星创作者: 游戏开发技术领域 新星创作者: 游戏开发技术领域 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄12年 1万+粉丝 343原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

极客范儿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值