光谱波长筛选算法

matlab连续投影算法SPA使用示例 连续投影算法(Successive Projections Algorithm,SPA)是一种使矢量空间共线性最小化的前向变量选择算法, 它的优势在于提取全波段的几个特征波长,能够消除原始光谱矩阵中冗余的信息,可用于光谱特征波长的筛选。 阅读详情
AI摘要

本文介绍了四种常用的波长选择算法在近红外光谱分析中的应用:SPA算法利用投影分析选择波长;UVE算法通过去除无信息变量优化模型;LAR算法是一种高效的变量选择方法;CARS算法基于PLS模型和蒙特卡洛采样选择特征波长。这些算法有助于建立预测准确且鲁棒的光谱模型。

系列文章目录

近红外光谱分析技术属于交叉领域,需要化学、计算机科学、生物科学等多领域的合作。为此,在(北京邮电大学杨辉华老师团队)指导下,近期准备开源传统的PLS,SVM,ANN,RF等经典算和SG,MSC,一阶导,二阶导等预处理以及GA等波长选择算法以及CNN、AE等最新深度学习算法,以帮助其他专业的更容易建立具有良好预测能力和鲁棒性的近红外光谱模型。



前言

NIRS是介于可见光和中红外光之间的电磁波,其波长范围为(1100∼2526 nm。 由于近红外光谱区与有机分子中含氢基团(OH、NH、CH、SH)振动的合频和 各级倍频的吸收区一致,通过扫描样品的近红外光谱,可以得到样品中有机分子含氢 基团的特征信息,常被作为获取样本信息的一种有效的载体。 基于NIRS的检测方法具有方便、高效、准确、成本低、可现场检测、不 破坏样品等优势,被广泛应用于各类检测领域。但 近红外光谱存在谱带宽、重叠较严重、吸收信号弱、信息解析复杂等问题,与常用的 化学分析方法不同,仅能作为一种间接测量方法,无法直接分析出被测样本的含量或 类别,它依赖于化学计量学方法,在样品待测属性值与近红外光谱数据之间建立一个 关联模型(或称校正模型,Calibration Model) ,再通过模型对未知样品的近红外光谱 进行预测来得到各性质成分的预测值。现有近红外建模方法主要为经典建模 (预处理+波长筛选进行特征降维和突出,再通过pls、svm算法进行建模)以及深度学习方法(端到端的建模,对预处理、波长选择等依赖性很低)

本篇主要讲述常见的波长选择算法(目前是matlab版本的,python版本有时间重写一下)

一、SPA算法

连续投影算法(successive projections algorithm, SPA) 是前向特征变量选择方法。SPA利用向量的投影分析,通过将波长投影到其他波长上,比较投影向量大小,以投影向量最大的波长为待选波长,然后基于矫正模型选择最终的特征波长。SPA选择的是含有最少冗余信息及最小共线性的变量组合。

function chain = projections_qr(X,k,M)

% Projections routine for the Successive Projections Algorithm using the
% built-in QR function of Matlab
%
% chain = projections(X,k,M)
%
% X --> Matrix of predictor variables (# objects N x # variables K)
% k --> Index of the initial column for the projection operations
% M --> Number of variables to include in the chain
%
% chain --> Index set of the variables resulting from the projection operations

X_projected = X;

norms = sum(X_projected.^2);    % Square norm of each column vector
norm_max = max(norms); % Norm of the "largest" column vector

X_projected(:,k) = X_projected(:,k)*2*norm_max/norms(k); % Scales the kth column so that it becomes the "largest" column

[dummy1,dummy2,order] = qr(X_projected,0); 
chain = order(1:M)';

二、UVE算法

无信息变量去除算法(uninformative variable elimination,UVE)能够去除对建模共效率较小的波长变量,选出特征波长变量,被去除的波长变量我们称之为无信息变量。无信息变量去除算法的建立是基于偏最小二乘(partial least squares,PLS)算法。去除无信息变量,减少了建模所用的变量个数,降低了模型复杂性。为了选择无信息变量,UVE算法通过对PLS模型中添加一组与原始变量数量相同的白噪声变量,然后基于PLS模型的交叉留一法得到每个变量对应的回归系数,包括噪声变量。用每个变量系数的稳定值除以标准差,将他们的商与随机变量矩阵得到的稳定值做比较,删除那些与随机变量一样对建模无效的波长变量。

function [B,C,P,T,U,R,R2X,R2Y]=plssim(X,Y,A,S,XtX);

[n,px] = size(X); [n,m] = size(Y);   				% size of the input data matrices
if nargin<5, S = []; end, if isempty(S), S=(Y'*X)'; end		% if XtX not inputted, S=[]; always when S=[] then S=(Y'*X)'
if nargin<4, XtX=[]; end					% if S is not inputted, XtX=[];
if isempty(XtX) & n>3*px, XtX = X'*X; end			% when XtX=[] and X is very "tall", the booster XtX is calculated
if nargin<3, A=10; end, A = min([A px n-1]);			% if A is not inputted, then the defaul A is min[10 px n-1]
T = zeros(n ,A); U = T;						% initialization of variables
R = zeros(px,A); P = R; V = R;
C = zeros(m ,A); 
R2Y = zeros(1,A);
z = zeros(m,1); v = zeros(px,1);
if n>px, S0 = S; end, StS = S'*S;				% SIMPLS algorithm
nm1 = n-1;
tol = 0;
for a = 1:A
  StS = StS-z*z'; 
  [Q,LAMBDA] = eig(StS); 
  [lambda,j] = max(diag(LAMBDA)); 
  q = Q(:,j(1));
  r = S*q;
  t = X*r;
  if isempty(XtX), p = (t'*X)'; else p = XtX*r; end
  if n>px, d = sqrt(r'*p/nm1); else d = sqrt(t'*t/nm1); end
  if d<tol, 
	disp(' ')
        disp('WARNING: the required number of factors (A) is too high !')
	disp('Less PLS factors were extracted from the data in the PLSSIM program !') 
	disp(' ')
	break,
, 	else tol=max(tol,d/1e5);
  end
  v = p-V(:,1:max(1
UVE无信息变量消除算法:光谱波长筛选与MATLAB实现 光谱数据往往面临高维、共线性与噪声干扰等难题,数百个波长中真正有效的信息仅集中于少数谱区,如何高效筛选特征波长成为化学计量学定量分析的关键。UVE作为一种数据驱动型变量筛选算法,通过向原始光谱中注入噪声矩阵,利用回归系数均值与标准差的比值衡量每个变量的稳定性,从而将与噪声表现无异的无用波长自动剔除。该方法不依赖主观阈值,可结合PLS等偏最小二乘模型实现嵌入式降维,显著降低过拟合风险、提升模型泛化能力。在近红外、拉曼及紫外光谱的定量分析场景中,UVE已成为变量粗筛的可靠手段,配合MATLAB代码能够快速完成波 阅读详情

相关推荐

无信息变量选择(UVE)波长筛选算法--基于OpenSA开源库实现

系列文章目录 “光晰本质,谱见不同”,光谱作为物质的指纹,被广泛应用于成分分析中。伴随微型光谱仪/光谱成像仪的发展与普及,基于光谱的分析技术将不只停留于工业和实验室,即将走入生活,实现万物感知,见微知著。本系列文章致力于光谱分析技术的科普和应用。 文章目录系列文章目录前言一、光谱数据读入1.1 光谱数据读入1.2 光谱可视化二、光谱波长筛选2.1 光谱预处理模块2 .2 光谱波长筛选的使用总结 前言 典型的光谱分析模型(以近红外光谱作为示意,可见光、中远红外、荧光、拉曼、高光谱等分析流程亦相似)建立流

Echo_Code的博客 7597

近红外光谱波长筛选算法实战指南

近红外光谱建模常因高维、强共线与低信噪比导致泛化失效,本质是变量冗余引发的过拟合问题。波长筛选作为关键预处理步骤,通过降维、去噪与信息保留,提升模型鲁棒性与可解释性。主流方法包括遗传算法(GA)、免疫遗传算法(IGA)、主成分分析(PCA)和无信息变量消除法(UVE),各自适配不同数据结构与工程约束。GA擅长全局搜索但耗时,IGA增强多样性以覆盖多特征区,PCA依赖载荷解析需谨慎防偏移,UVE以噪声响应快速识别无效变量。这些技术广泛应用于农产品品质检测、制药过程分析及化工在线监控等场景,是打通实验室模型到产

weixin_35636570的博客 137

连续投影算法SPA:光谱变量筛选与波长选择实战指南

在近红外光谱建模中,成百上千个波长点往往存在严重共线性,直接建模容易过拟合且模型迁移性差。变量筛选因此成为光谱分析的关键预处理步骤,旨在从高维冗余数据中提取最具代表性的波长子集。连续投影算法(SPA)正是一种确定性贪心变量选择方法,它通过正交投影迭代选出共线性最低的波长,兼顾少而全与可解释性。相比CARS、UVE等随机采样方法,SPA结果可复现、工程落地更直接,尤其适合后续滤光片选型或多光谱硬件移植。本文讲解SPA的数学原理、Python实现、交叉验证确定变量数的方法,并总结数据泄漏、散射校正、参数设置等实

weixin_33525298的博客 333

连续投影算法SPA:光谱特征波长筛选与共线性消除实战解析

在近红外光谱与高光谱数据分析中,光谱矩阵往往包含上千个波长变量,变量间高度相关导致的共线性问题,会严重干扰定量模型的稳定性和可解释性。连续投影算法(SPA)作为一种经典的变量筛选方法,通过向量投影的迭代过程,从高维光谱中挑选出共线性最小、冗余度最低的特征波长子集。其核心原理在于利用投影残差衡量每个波长携带的独立信息,逐步选出对建模最有贡献的波长组合。SPA不依赖浓度标签即可完成初筛,非常适合样本量有限或标签不完整的实际工程场景。结合MATLAB实现,SPA可高效应用于近红外定量建模、高光谱矿物信息提取等任务

weixin_30431445的博客 264

近红外光谱波长筛选算法实战:GA、IGA、UVE、PCA全解析

在近红外光谱分析中,光谱矩阵往往包含上千个波长点,而真正与水分、蛋白等目标成分相关的只有少数区间。如何从高维、强共线性的光谱数据中筛选出有效变量,是建立稳健定量模型的关键。遗传算法(GA)通过模拟自然进化搜索最优波长子集,免疫遗传算法(IGA)引入记忆库和浓度调节提升收敛稳定性,主成分分析(PCA)则利用载荷绝对值压缩维度。这些算法能显著降低模型复杂度、提高预测精度,广泛应用于农业、食品、石化等行业的快速无损检测。围绕波长筛选这一核心任务,内容结合源代码与示例数据集,系统拆解GA、IGA、UVE、PCA的原

weixin_28678151的博客 310

近红外光谱波长筛选:遗传算法、PCA与UVE实战解析

化学计量学中,光谱数据常面临高维共线性问题——数千个波长点高度关联,直接建模易过拟合。波长筛选作为变量选择的核心技术,通过剔除冗余信息提升模型稳定性与预测精度。常见方法包括遗传算法(GA)、免疫遗传算法(IGA)、主成分分析(PCA)和无信息变量消除法(UVE)。这些算法分别从进化搜索、免疫机制、载荷贡献和回归系数稳定性等原理出发,适用于不同数据规模与场景。在实际近红外光谱建模中,结合UVE粗筛与GA/IGA精筛,可大幅压缩波长数量、降低计算成本,同时改善RMSECV与RMSEP。内容涵盖四种筛选算法的实现

weixin_29061509的博客 178

CARS-PLS 用于光谱数据或色谱数据变量选择的matlab 源码

CARS-PLS 用于光谱数据或色谱数据变量选择的matlab 源码

CARS matlab 代码

CARS的MATLAB代码,可以正确运行,有测试数据,和PLS结合的代码

连续投影算法,连续投影算法原理,matlab

连续投影算法,实现光谱数据特征波长的选择

carspls_代码_cars算法_

使用cars算法进行PLS模型的建立,函数代码

连续投影算法,连续投影算法原理,matlab源码.rar

连续投影算法,连续投影算法原理,matlab源码.rar

CARS结合PLS结合的MATLAB代码.zip

1.版本:matlab2014/2019a/2021a,内含运行结果,不会运行可私信 2.领域:智能优化算法、神经网络预测、信号处理、元胞自动机、图像处理、路径规划、无人机等多种领域的Matlab仿真,更多内容可点击博主头像 3.内容:标题所示,对于介绍可点击主页搜索博客 4.适合人群:本科,硕士等教研学习使用 5.博客介绍:热爱科研的Matlab仿真开发者,修心和技术同步精进,matlab项目合作可si信

SPA-连续投影算法-教程版

对老版本代码进行了调试,找了一个光谱的数据进行降维测试,效果不错,有需要的小伙伴下载吧,调试不易,谢谢支持。

Flotherm XT学习历程

大家好,通过半年的热仿真软件学习使用,最终发现最好用,最好上手的软件就是Flotherm XT,对新手非常友好,但由于软件近几年才发布,网上教程非常少,后面我将在这里持续分析软件使用心得,和大家一起学习。

xiaoredred的博客 6271

Windows电脑如何用MobaXterm连接宇树G1机器人?保姆级SSH配置指南

本文提供了一份详细的保姆级教程,指导Windows用户使用MobaXterm通过SSH连接宇树G1机器人。内容涵盖从物理网络配置、MobaXterm安装与SSH会话创建,到文件传输、X11转发等高级功能,并包含常见问题排查与安全加固建议,帮助开发者快速建立稳定可靠的远程开发连接。

purple的博客 878

Docker环境下onlyOffice 7.5.1破解版部署全攻略(含ARM架构适配)

本文提供了在Docker环境中部署OnlyOffice 7.5.1破解版的完整实战指南。内容涵盖x86与ARM架构服务器的详细部署步骤、环境配置、持久化存储设置以及生产环境下的安全与性能优化。重点解决了ARM架构适配的常见问题,并分享了使用Docker Compose进行服务编排和日常维护的技巧,帮助用户快速搭建私有化文档协作平台。

redis7keeper的博客 355

高速SerDes均衡技术解析

均衡技术是高速SerDes链路中补偿信道损耗和失真的核心技术,通过FFE、CTLE和DFE三种主要方法对抗码间干扰(ISI)。FFE在发射端预补偿前光标干扰,CTLE通过提升高频增益补偿信道损耗,DFE则精准消除后光标干扰。三种技术各具优势:FFE实现简单且不放大噪声,CTLE功耗低易于集成,DFE能自适应调整且保持信噪比。这些技术协同工作可有效提升系统传输速率和可靠性。

一只豌豆象的博客 1950

PCL点云DBSCAN聚类算法:基于密度的点云聚类

核心点是在给定半径内拥有足够多邻居点的点,边界点是在给定半径内没有足够多邻居点但是位于核心点的邻域内的点,噪声点是既不是核心点也不是边界点的点。本文将介绍PCL中的DBSCAN(基于密度的空间聚类应用噪声)算法,用于点云数据的聚类。上述示例代码首先从PCD文件中读取点云数据,并设置了DBSCAN聚类的参数,包括邻域搜索半径(epsilon)和邻域内最小点数(min_points)。需要注意的是,示例代码中的点云数据格式为pcl::PointXYZ,如果使用其他类型的点云数据,需要相应地修改代码。

LpmShell的博客 1242

LLM Wiki 的完整输入体系:LLM Wiki极简实战

LLM Wiki 的输入分为**四大类**,覆盖从"原始知识注入"到"系统行为控制"的全流程,所有输入都遵循"**原始资料不可变,规则可迭代,人类反馈闭环**"的核心原则。

ZhangJiqun&191cm&85kg 328

芒果YOLOv12改进108:基于QARep提出多种<独家原创结构>:ReNLANQARep, QARep, CSCQARep, C3QARep, C2fQARep等,即插即用提升小目标检测

芒果YOLOv12改进108:基于QARep提出多种<独家原创结构>:ReNLANQARep, QARep, CSCQARep, C3QARep, C2fQARep等,即插即用提升小目标检测

包括YOLOv5、YOLOv7、YOLOv8等模型改进 755

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

上一篇: 多光谱高光谱图像算法面经
下一篇: 高光谱知识(1)-高光谱成像技术的理解
Echo_Code
博客等级 码龄7年 795粉丝 25原创
评论 31
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值