科研工作分享——CVRP|TIP|TGRS Pansharpening 扩散模型 多模态

研究成果

• Dual-Granularity Semantic Guided Sparse Routing Diffusion Model for General Pansharpening
  YH Xing, LT. Qu, SZ. Zhang, K. Zhang, YN. Zhang and L. Bruzzong
  CVPR 2025（学生一作）
  [pdf][code]

• CrossDiff: Exploring Self-Supervised Representation of Pansharpening via Cross-Predictive Diffusion Model
  YH Xing, LT. Qu, SZ. Zhang, K. Zhang, YN. Zhang and L. Bruzzong
  IEEE TRANSACTIONS ON IMAGE PROCESSIN（学生一作）
  [pdf][code]

• Explicit and size-adaptive PSO-based feature selection for classification
  Litao Qu, Weibin He, Jianfei Li, Hua Zhang, Cheng Yang, Bo Xie
  Swarm and Evolutionary Computation,Volume 77,2023（高被引论文，第一作者）
  [pdf][code]

• Empower Generalizability for Pansharpening Through Text-Modulated Diffusion Model
  YH Xing,LT. Qu, SZ. Zhang, JP. Feng, XW. Zhang and YN. Zhang.
  IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, vol. 62, pp. 1-12, 2024.（学生一作）
  [pdf][code]

• Complementary Fusion Network Based on Frequency Hybrid Attention for Pansharpening
  YH Xing, LT. Qu, K. Zhang, Y. Zhang, XW. Zhang and YN. Zhang.
  ICASSP 2024 - 2024（学生一作）
  [pdf][code]

科研工作分享

其中，多光谱与全色图像融合技术，也被称为全色锐化（Pansharpening），其核心思想是利用信号处理和机器学习的方法，将来自同一区域但不同传感器获取的低空间分辨率多光谱图像（Low-Resolution-Multispec-tral，LRMS）与高空间分辨率全色图像（Panchromatic，PAN）相结合，生成既包含丰富空间细节又保留原始光谱特性的高空间分辨率多光谱图像（High-Resolution Multispectral，HRMS）

CrossDiff: Exploring Self-Supervised Representation of Pansharpening via Cross-Predictive Diffusion Model

Motivation： 当时无监督全色锐化成为缓解Wald协议下模型尺度依赖问题的有效手段，但现有的无监督方案在受限的损失下，无法很好的提取特征信息；DIffusion Model在特征提取中展现了一定潜力，有一篇ICLR 22的paper指出了这一点，因此，基于自监督扩散模型+无监督全色锐化的想法被我提出

提出了一个两阶段多光谱与全色图像融合框架，首次验证了 DDPM 在多光谱与全色图像融合的自监督学习能力。提出的 CrossDiff 包含一个自监督预训练阶段和一个多光谱与全色图像融合适配阶段。引入交叉预测代理任务，基于扩散模型预训练得到空间和光谱表征学习器。出乎意料的，扩散模型预训练后的特征提取能力具备一定的泛化性，即frozen这部分参数，只微调fusion head，在其他卫星的数据集上也能取得不错的效果

Empower Generalizability for Pansharpening Through Text-Modulated Diffusion Model

动机：CrossDiff和其他工作在few-shot pansharpening上取得了一些成果；此外，还有不少paper基于图像重建理论做zero-shot pansharpening，但是效果很难泛化；在大数据时代，我认为过多的手工先验信息约束，是一种历史倒车行为，一切的知识应该由模型通过DL学习而来，而非人工施加；
那么如何利用好多个卫星数据集，训练一个有足够泛化能力的“大模型”呢？至少存在两点问题：
1. 卫星数据集的光谱通道多变，4，8，16都有可能
2. 卫星数据集的光谱特性不同，即成像原理，MTF物理性质不同，domain gap比较大
针对上述问题，这篇paper首次引入文本提示，动态调制模型参数以适配不同卫星数据集的物理特性；涉及3D卷积网络实现扩散模型，从而接收任意格式的图像数据

Dual-Granularity Semantic Guided Sparse Routing Diffusion Model for General Pansharpening

在不少综述paper中可以得出结论：Pansharpening模型普遍存在“场景依赖性”，即模型在某些场景表现好，某些场景表现差，不同模型的偏好不同；这一点似乎很好解释：卫星数据集本身存在分布的差异性，不同卫星数据集可能水体、建筑、植被、山区、公路等场景分布是不一致的，如上图中(a) (b)都体现了这一点；模型在分布不均的数据集上训练，难免出现“偏好”

因此，我借助MLLM的强泛化能力，提取卫星图像中场景、地物细节的先验信息；从而显式指导模型，适配不同的卫星图像特点；为了实现这种动态性，我们借鉴了LLM中火热的MOE结构，并在卷积网络上实现了MOE架构

Explicit and size-adaptive PSO-based feature selection for classification（高被引paper）

Motivation： 基于粒⼦群优化算法(Particle Swarm Optimization PSO)研究基因微阵列数据集在机器学习的特征选择问题，为提升⾼维数据上算法的搜索效率，基于PSO在旅⾏商问题的应⽤，提出⼀种可变⻓的粒⼦编码形式，在10个癌症数据集上对⽐后，算法效率⼤幅提升的同时效果仍保持稳定。

在大数据时代，高维数据变得越来越普遍，尤其是在互联网时代积累的大量数据中。然而，这些数据中的许多特征可能是冗余的甚至与目标无关，这不仅增加了机器学习算法的训练时间，而且可能会降低算法的性能。特征选择（Feature Selection, FS）的目的是移除这些不相关和冗余的特征，以提高算法的分类准确性，但这一问题被认为是NP-hard问题，即在多项式时间内难以解决。

文章想解决的问题是如何有效地进行特征选择，以减少数据的维度并提高分类方法的性能。特别是在处理高维数据时，传统的特征选择方法面临着“维度的诅咒”，即粒子表示的维度等于原始特征的数量，这导致了内存和计算成本的大量消耗，并且在搜索空间上造成了巨大的挑战。

为了解决这些问题，文章提出了一种新颖的特征选择方法，称为显式和大小自适应的基于粒子群优化（Particle Swarm Optimization, PSO）的特征选择算法（Explicit and size-adaptive PSO-based, ESAPSO）。该方法的创新性体现在以下几个方面：

1. 显式粒子表示：与传统的PSO方法不同，ESAPSO采用了显式表示法，即粒子直接由相应选定的特征子集表示，而不是通过一个隐式表示法（如连续或二进制向量）来间接表示选定的特征子集。这种表示法可以显著减少粒子的大小，特别是当原始特征空间的维度非常大时。
2. 粒子更新策略的重新定义：针对新的显式粒子表示，文章重新定义了粒子的更新策略，采用了学习替代（Learning Substitution, LS）操作符和LS序列，使粒子能够根据其个人最佳位置和全局最佳位置进行更新。
3. 特征分组策略：文章采用了基于特征重要性的特征分组策略，将原始特征集划分为多个组，并利用轮盘赌策略初始化粒子，这有助于提高算法的搜索效率和分类性能。
4. 尺寸自适应扩展策略：为了克服显式粒子表示可能限制特征搜索能力的问题，文章提出了一种尺寸自适应扩展策略，使粒子大小能够根据全局最优位置的更新情况和数据集的不确定性自适应地增加，从而帮助算法跳出局部最优解。

总体而言，ESAPSO算法通过这些创新性的方法，有效地减少了粒子的大小、计算成本和内存占用，同时提高了特征选择的性能，特别是在处理高维数据时。

Complementary Fusion Network Based on Frequency Hybrid Attention for Pansharpening

这篇paper主要基于频域分解的先验约束，核心idea是师姐提出来的，我不做过多赘述

工作经历

GTS软件研发管理部· AI工程师 | 工作时间：2025.04.07 至今

PCG-AI技术中心 · 多模态算法实习生 | 工作时间：2024.04.13 至 2024.8.31

研究方向： MultiModal, Large Language Models, Diffusion models, Swarm Intenllengence

研究成果

• Dual-Granularity Semantic Guided Sparse Routing Diffusion Model for General Pansharpening
  YH Xing, LT. Qu, SZ. Zhang, K. Zhang, YN. Zhang and L. Bruzzong
  CVPR 2025（学生一作）
  [pdf][code]

• CrossDiff: Exploring Self-Supervised Representation of Pansharpening via Cross-Predictive Diffusion Model
  YH Xing, LT. Qu, SZ. Zhang, K. Zhang, YN. Zhang and L. Bruzzong
  IEEE TRANSACTIONS ON IMAGE PROCESSIN（学生一作）
  [pdf][code]

• Explicit and size-adaptive PSO-based feature selection for classification
  Litao Qu, Weibin He, Jianfei Li, Hua Zhang, Cheng Yang, Bo Xie
  Swarm and Evolutionary Computation,Volume 77,2023（高被引论文，第一作者）
  [pdf][code]

• Empower Generalizability for Pansharpening Through Text-Modulated Diffusion Model
  YH Xing,LT. Qu, SZ. Zhang, JP. Feng, XW. Zhang and YN. Zhang.
  IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, vol. 62, pp. 1-12, 2024.（学生一作）
  [pdf][code]

• Complementary Fusion Network Based on Frequency Hybrid Attention for Pansharpening
  YH Xing, LT. Qu, K. Zhang, Y. Zhang, XW. Zhang and YN. Zhang.
  ICASSP 2024 - 2024（学生一作）
  [pdf][code]

博客地址

谷歌学术
csdn（学习记录与内容分享）