Joseph__Lagrange的博客

模型构建流程    在样本的光谱数据和样本目标值数据之间建立预测模型，通过获取未知样本的光谱数据，根据建立的预测模型，可以准确预测出物质含量。优秀的预测模型不仅依赖于严格的数据处理和表达能力强的模型算法，还依赖于获取的样本本身的特性，比如样本数据的精准性、数据特征能否反映样本本身的属性等。通常，开发稳健和高精度的物质含量预测模型主要包括：1.实验数据获取；2.异常样本识别和剔除；3.样本集划分为训练集和测试集；4.光谱数据预处理；5.特征波长提取；6.借助于机器学习算法建立物质目标含量的预测模型。预测模型

近红外光谱原理 近红外光谱(NIRS)技术是通过近红外光源照射实验样本，然后根据其透射或反射出的光对物质所携带的有效信息进行分析，实现准确、快速检测待测物质中某种或多种成分含量。近红外光谱是指波长介于可见光区与中红外区之间的电磁波，其在光谱波长划分区域的具体位置如图2-1所示，谱区范围为780-2526nm，该区域的波长能够记录C-O，O-H和N-H等化学键振动的倍频和合频吸收信息，可以作为获取信息有...

目录1 原始光谱2 中心化处理3 标准化处理1 原始光谱import numpy as npimport matplotlib.pyplot as pltimport scipy.io as siodef PlotSpectrum(spec): """ :param spec: shape (n_samples, n_features) :r...

目录4 多元散射矫正处理5 标准正态变量变换处理6 一阶差分处理7 二阶差分处理4 多元散射矫正处理def msc(sdata): n = sdata.shape[0] # 样本数量 k = np.zeros(sdata.shape[0]) b = np.zeros(sdata.shape[0]) M = np.mean(sdata, ...

目录1 区间偏最小二乘法原理（ipls）2 ipls的python实现3 实验结果图1 区间偏最小二乘法原理（ipls）区间偏最小二乘法可以用来提取特征波段，它将整个光谱区域划分为多个等宽的子区间， 假设为n个； 在每个子区间上进行偏最小二乘回归，建立待测品质的"局部回归模型"，也就是可以得到n个局部回归模型；以均方根无误差MSE值为各模型的精度衡量标准，取精度最高的局...

目录1 遗传算法特征选取基本原理2. 适应度函数选择和环境要求（1）适应度函数选择（2）依赖的第三方工具包3. python实现1 遗传算法特征选取基本原理遗传算法特征选择的基本原理是用遗传算法寻找一个最优的二进制编码, 码中的每一位对应一个特征, 若第i位为“1”, 则表明对应特征被选取, 该特征将出现在估计器中, 为“0”, 则表明对应特征未被选取,该特征将不出现在...

目录1.模拟退火算法之特征选择的python实现（类封装）2. 实验结果按照模拟退火算法基本流程的python实现，可以参考模拟退火算法之特征选择的python实现(一)特此申明：代码是作者辛辛苦苦码的， 转载请注明出处1.模拟退火算法之特征选择的python实现（类封装）import numpy as npfrom sklearn.metrics import m...

目录1. 模拟退火算法实现步骤2. python实现3. 实验结果4. 参考文献模拟退火算法的基本原理在这里就不一一赘述了， 关于原理，可以参考百度百科、博客1、博客2在本节按照基本实现步骤实现模拟退火算法， 对于模拟退火算法的高级封装(类封装)， 可以参考模拟退火算法之特征选择的python实现(二)1. 模拟退火算法实现步骤2. python实现i...

一 SPXY算法原理SPXY算法原理（sample set partitioning based on joint x-y distance）：它是在KS算法基础上发展而来的，SPXY在样品间距离计算时将x变量和y变量同时考虑在内，其距离公式如下：二 python代码实现def spxy(x, y, test_size=0.2): """ :param x:...

一 Kennard-Stone算法原理（KS算法）KS算法原理：把所有的样本都看作训练集候选样本,依次从中挑选样本进训练集。首先选择欧氏距离最远的两个样本进入训练集，其后通过计算剩下的每一个样品到训练集内每一个已知样品的欧式距离，找到距已选样本最远以及最近的两个样本，并将这两个样本选入训练集，重复上述步骤直到样本数量达到要求。欧式距离计算公式：Xp，Xq表示两个不同的样本，N代表样...