图像融合算法及多视角（多源）信息融合总结

最新推荐文章于 2025-09-04 11:30:00 发布

原创最新推荐文章于 2025-09-04 11:30:00 发布 · 1.7w 阅读

118 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #计算机视觉 #机器学习

human action recognition 同时被 2 个专栏收录

4 篇文章

订阅专栏

multi-view

3 篇文章

订阅专栏

图像融合算法及多视角（多源）信息融合总结

-------本文仅为学习笔记，不做任何商业用途-------

前言

在计算机视觉领域下，涉及到对于诸如huamn action recognition等任务时，往往会需要多视角融合来进行分类任务，这就涉及到图像融合以及多源信息融合的相关算法。本文基于上述动机，在搜集和学习了解了相关知识后，对图像融合和多视角（多源）信息融合进行简单总结。

一、图像融合算法

图像融合（Image Fusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像。融合的结果可以更好的将多幅图像在时空上的相关性和信息上的互补性进行整合，从而将更为重要的图像特征表征便于机器的后续处理。
在一般情况下，图像融合由低到高分为四个层级：信号级融合、数据级融合、特征级融合以及决策级融合。
Alt
信号级融合主要是对原始图像数据（未经处理）的一个融合，在这种情况下，更多是对图像融合的一个大致估计，不能准确精细的对图像进行融合。
数据级融合经常被称之为像素级融合，是指直接对传感器（如Kinect设备）采集来的数据进行处理而获得融合图像的过程。像素级融合主要包含空间域算法和变换域算法，空间域算法包含多种融合规则方法，如逻辑滤波法、灰度加权平均法、对比调制法等；变换域中包含金字塔分解融合法、小波变换法等。
在这里插入图片描述
特征级图像融合是从源图像中将感兴趣的特征信息提取出来，然后对这些特征信息进行分析、处理与整合得到融合后的图像特征。在多视角下的人体动作识别中，就是通过提取不同视角下动作的特征信息，通过多源信息融合的方式进行视角融合，从而更好的进行分类判断。
决策级图像融合是具有针对性的，它将根据任务的具体要求，从而将来自特征级图像所得到的特征信息加以利用，然后根据相关规则进行决策。对于它的抽象理解，可以将其看作图片分类中的SVM来判断图像类别。

二、多视角（多源）信息融合

在计算机视觉领域，对于action recognition往往会遇到多视角或多模态的信息融合问题，从本质上来讲，这类问题其实都可以看做多传感器数据的信息融合。在查阅相关资料并学习之后，总结如下。

2.1 多传感器数据融合方法

利用多个传感器收集到的信息进行融合的算法可概括分为四类，基础估计算法、随机算法、基于人工智能的算法（CNN、RNN等）以及识别算法。
在这里插入图片描述

2.2 多视角信息融合

对于多个视角的信息融合，查阅资料主要分为协同训练、多核学习以及子空间学习等。
协同训练，即通过交替训练的方式使未标记的两个不同视图的相互一致性最大化；多核学习是通过利用与不同视图自然对应的内核进行线性或非线性的组合以提高学习性能；子空间学习是通过假设输入视角是从多个视角共享的子空间产生的。当然，除了上述的三类多视角融合算法外，还有包括集成学习、迁移学习、CNN、RNN等常用方法。
在最近阅读的几篇关于多视角跨域的文献中，对于多视角融合的方式就采用了迁移学习的方式，将源域视角信息得到的模型用于目标域的不同视角，来学习分类标准；还有通过LSTM进行融合判断以及CNN来进行学习的；同时还有通过提取多视角不变特征进行集成学习的算法。

Reference

[1]https://baike.baidu.com/item/%E5%9B%BE%E5%83%8F%E8%9E%8D%E5%90%88/625475?fr=aladdin
[2]https://blog.youkuaiyun.com/lihe4151021/article/details/107483507?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2_allfirst_rank_v2~rank_v28-5-107483507.nonecase&utm_term=多视角图像融合&spm=1000.2123.3001.4430
[3]https://blog.youkuaiyun.com/colourful_sky/article/details/76560316
[4]https://blog.youkuaiyun.com/weixin_33894992/article/details/94455563?utm_medium=distribute.pc_relevant.none-task-blog-utm_term-6&spm=1001.2101.3001.4242
[5]https://blog.youkuaiyun.com/weibo1230123/article/details/84187923
[6]https://blog.youkuaiyun.com/moxibingdao/article/details/106667333
[7]https://blog.youkuaiyun.com/danliwoo/article/details/79278574