近红外光谱建模之样本集划分python实现(KS算法)

KS(洛伦兹曲线) KS(洛伦兹曲线) KS(Kolmogorov-Smirnov)值越大,表示模型能够将正、负客户区分开的程度越大。KS值的取值范围是[0,1] 通常来讲,KS>0.2即表示模型有较好的预测准确性。 ks求解方法: ks需要TPR和FPR两个值:真正类率(true positive rate ,TPR), 计算公式为TPR=TP/ (TP+ FN),刻画的是分类器所识别出的 正实例占所有正实例的比例。另外一个是假正类率(false positive rate, FPR),计算公式为FPR= FP / ( 阅读详情

一 Kennard-Stone算法原理(KS算法)

KS算法原理:把所有的样本都看作训练集候选样本,依次从中挑选样本进训练集。首先选择欧氏距离最远的两个样本进入训练集,其后通过计算剩下的每一个样品到训练集内每一个已知样品的欧式距离,找到距已选样本最远以及最近的两个样本,并将这两个样本选入训练集,重复上述步骤直到样本数量达到要求。

欧式距离计算公式:

Xp,Xq表示两个不同的样本,N代表样本的光谱波点数量

二 python代码实现 

def ks(x, y, test_size=0.2):
    """

    :param x: shape (n_samples, n_features)
    :param y: shape (n_sample, )
    :param test_size: the ratio of test_size (float)
    :return: spec_train: (n_samples, n_features)
             spec_test: (n_samples, n_features)
             target_train: (n_sample, )
             target_test: (n_sample, )
    """
    M = x.shape[0]             
    N = round((1-test_size) * M)
    samples = np.arange(M)     

    D = np.zeros((M, M))       

    for i in range((M-1)):
        xa = x[i, :]
        for j in ra
ks分级MATLAB光谱数据处理 ks分级光谱数据处理 阅读详情

相关推荐

近红外光谱建模之样本集划分python实现(SPXY算法)

一 SPXY算法原理 SPXY算法原理(sample set partitioning based on joint x-y distance):它是在KS算法基础上发展而来的,SPXY在样品间距离计算时将x变量和y变量同时考虑在内,其距离公式如下: 二 python代码实现 def spxy(x, y, test_size=0.2): """ :param x:...

Joseph__Lagrange的博客 1万+

Python多元线性回归、机器学习、深度学习在近红外光谱分析中的应用

近红外光谱、python、机器学习、深度学习、近红外光谱、多元线性回归、MATLAB 编程、数据挖掘、数据可视化、人工智能、生物医学系统建模与仿真、绘图、岭回归模型、LASSO模型、Elastic Net模型、BP神经网络、支持向量机(SVM)、决策树、随机森林、遗传算法(Genetic Algorithm)、卷积神经网络、迁移学习算法

PhyliciaFelicia的博客 1643

Python读取红外图像 - 实现红外图像的读取和处理

接下来,我们需要了解红外图像的特点,并进行简单的处理。红外图像与普通的可见光图像有很大的不同,其具有更高的灰度范围和更低的对比度。因此,在对红外图像进行处理时,需要针对其特点进行专门的算法设计。综上所述,本文介绍了使用Python读取红外图像的方法,并简单介绍了对红外图像的处理。另外,需要注意的是,在读取红外图像时,应该使用cv2.IMREAD_UNCHANGED标志,以便获取完整的图像数据。最后,通过np.uint8函数将像素值转换为[0,255]的范围内的整型数值,即可得到拉伸后的红外图像。

. 2911

SPXY样本集划分算法详解:原理、Python实现与交叉验证避坑指南

在机器学习与化学计量学建模任务中,样本集划分的质量直接影响模型评估的可靠性。随机划分常导致训练集与验证集分布不一致,使交叉验证结果虚高或偏低。Kennard-Stone算法通过最大化变量空间距离提升样本代表性,却忽略了目标变量分布的影响。SPXY算法在KS基础上引入y距离,实现特征空间与响应空间的联合覆盖,为光谱建模、回归预测等场景提供更稳健的样本划分方案。本文从算法原理出发,对比SPXY与KS的差异,给出可复现的Python实现细节,并重点剖析SPXY与交叉验证配合时的正确流程及常见陷阱——包括特征标准化

weixin_28221501的博客 240

SPXY样本集划分:让光谱建模验证集不再翻车的实战指南

在机器学习与化学计量学建模中,样本集划分直接决定模型泛化能力。随机划分在小样本场景下往往导致验证集超出训练集值域,模型“看着准、一验证就崩”。SPXY方法通过联合X-Y距离,在自变量和因变量两个空间上同时覆盖极值,显著提升模型对未知样本的预测稳定性。本文从数据标准化、距离矩阵计算到迭代选点,给出完整Python实现与避坑要点,并结合交叉验证与外部测试集评估,帮助光谱建模、环境监测等领域的工程师科学划分训练集与验证集,避免过拟合和外推失准。

weixin_29057065的博客 110

样本集划分(sxpy)避坑指南:从数据泄露到分层与时序划分

在机器学习项目中,如何正确划分样本集往往比模型调参更能决定成败。数据划分看似简单,稍有不慎就会引发数据泄露——测试集信息提前潜入训练集,导致离线评估虚高。分层采样、时序划分与分组划分是应对不同数据结构的核心手段:分层保证类别分布一致,时序避免未来信息穿越,分组防止同一主体数据被拆散。这些方法不仅适用于风控、推荐和销量预测,也是构建可信评估体系的基础。本文围绕sxpy样本集划分,梳理三种典型的划分事故、四种Python切分代码,以及一份可直接复用的完整流程模板,帮助工程师在数据源头规避风险。

weixin_34246529的博客 179

机器学习建模样本划分:SPXY、KS与RS算法原理及Python实现

在机器学习回归建模中,训练集与测试集的划分方式直接影响模型泛化能力的可靠评估,尤其在近红外光谱、化学计量学等样本量较小的定量分析场景中,校正集和验证集的分配策略尤为关键。随机划分(RS)简单但易受样本分布影响,Kennard-Stone(KS)算法通过欧氏距离挑选空间分散样本,而SPXY算法进一步将因变量Y的距离纳入联合距离计算,兼顾特征空间与目标空间覆盖。合理应用这些样本划分算法,能够提升模型评估的稳定性与可复现性,为偏最小二乘回归等常见建模方法提供更可信的验证基础。本文系统讲解三种算法的原理差异、Pyt

weixin_29052717的博客 292

SPXY样本集划分:从KS到联合距离,解决随机切分导致的模型虚高

在回归与分类建模中,样本集划分直接影响模型评估的可信度。随机切分容易因特征与目标分布不均导致指标虚高,而KS方法仅考虑特征空间距离,忽略目标变量。SPXY通过联合X-Y距离的归一化构造,确保校正集覆盖光谱-浓度联合分布,提升交叉验证稳定性。该技术适用于近红外光谱定量、传感器标定等X-Y强关联场景,结合校正集内交叉验证与独立验证,可有效避免数据泄漏,获得可复现的泛化误差估计。

weixin_34094282的博客 226

近红外光谱回归分析全流程:预处理、模型选型与PyTorch实现

近红外光谱分析技术能快速无损地获取样品化学成分信息,但光谱重叠严重且易受物理散射影响。借助回归分析模型,可在吸光度与化学实测值间建立可泛化的映射关系。光谱预处理(如SNV、MSC及一阶导数平滑)是消除基线漂移和颗粒度干扰的关键环节;模型选型上,从偏最小二乘回归(PLSR)基准线到支持向量回归,再到深度学习中的一维卷积神经网络(1D-CNN),逐步提升非线性拟合能力。整套流程在农产品品质检测、制药质量控制等场景中具有实用价值,配合R²、RMSE与RPD等评估指标可稳健衡量模型性能。面对高维光谱数据,PyTor

weixin_33858336的博客 328

竞争性自适应重加权算法CARS在光谱变量选择中的应用与Python实现

在高维光谱数据分析中,全谱建模常因共线性、噪声和冗余变量导致过拟合,变量选择成为提升模型稳定性的关键。竞争性自适应重加权算法(CARS)借鉴适者生存思想,通过蒙特卡洛采样评估变量重要性,结合指数衰减保留率与自适应重加权抽样,逐步筛选出有效变量。该方法无需预设最终变量数,能有效降低模型复杂度,被广泛应用于近红外、中红外及拉曼光谱的PLS建模中。相比全谱模型,CARS-PLS可显著减少变量数量并提升预测精度,为光谱特征选择提供了高效可靠的工程化方案。

weixin_26950847的博客 318

SPXY样本划分:解决光谱建模中训练测试分布漂移

在高维小样本回归建模(如近红外光谱分析)中,传统随机划分易导致训练集与测试集在特征空间和响应值联合分布上严重失配,引发模型泛化失效。SPXY(Sample Set Partitioning based on Joint x-y distances)通过融合特征矩阵x的欧氏距离与目标变量y的差值构建联合距离度量,在x-y联合空间中实现均匀采样,有效缓解数据分布漂移问题。其核心价值在于提升小样本(几十至两百条)下PLS、PCR等化学计量学模型的外部验证稳定性与预测鲁棒性,广泛应用于食品、制药、农业等领域的定量光

weixin_33552698的博客 130

matlab光谱算法代码-frft2-python:python中的离散1d和2d分数阶傅里叶变换

matlab光谱算法代码frft2-python python中的离散1d和2d分数阶傅里叶变换 用法: frft2d(mat,ax,ay) mat:要转换的数字矩阵 ax,ay:沿x和y轴的变换顺序 返回垫子的frft光谱 偏移(f,a; p) f:待变换的离散信号 a:转换顺序 p(可选):近似的顺序,默认情况下等于f的一半 返回f的frft谱 这段代码是从其matlab版本翻译而来的(我实际上不知道该算法是如何工作的xd),一个senpai给了我,我也不知道它的起源。

傅里叶红外光谱成像技术PPT课件

傅里叶红外光谱成像技术,傅里叶红外光谱成像技术课件,傅里叶红外光谱成像技术PPT

【智能制造】- APS系列|05 APS 排产的五大底层算法逻辑

很多人误以为APS只是给生产工单排先后顺序,实则整套系统依托成熟算法体系,完成多维度约束下的最优生产决策在制造业数字化排产普及的当下,依旧有不少制造管理者对APS存在认知误区,将其等同于简易工单排序工具。事实上,专业级高级计划与排程系统,早已脱离单纯按时间排序的基础功能,而是依托一整套成熟完善的底层算法逻辑,整合现场各类生产限制条件,在海量变量中自动推演、筛选、输出最贴合企业经营目标的生产方案。

qq_40821260的博客 436

EG800K 4G模块AT指令避坑指南:让你的STM32物联网项目稳定连接云端

本文详细解析了EG800K 4G模块在STM32物联网项目中的AT指令应用避坑指南,涵盖从底层协议到云端稳定的全链路优化策略。通过实战案例和防护机制,帮助开发者解决常见通信陷阱,提升云端通信的稳定性和效率。

weixin_26834815的博客 289

STM32驱动电磁阀电路设计:从光耦选型到MOSFET驱动的实战解析

本文深入解析了STM32驱动24V电磁阀的完整电路设计,重点探讨了光耦选型与MOSFET驱动两大核心环节。针对电平转换与电气隔离需求,详细对比了EL357N与TLP2310等光耦在CTR、速度及耐压等关键参数上的差异与应用场景。同时,文章提供了MOSFET关键参数解读、驱动电路优化方案(如推挽驱动)以及完整的PCB布局、电源处理与调试避坑指南,旨在帮助工程师构建稳定可靠的工业控制电路。

weixin_29184371的博客 234

遗传算法优化光学超表面:智能设计突破纳米结构瓶颈

光学超表面设计本质上是一个高维、非线性、离散每个结构单元(如纳米砖柱、孔洞、十字架)有多个参数(长、宽、高、旋转角、材料),整个阵列的参数组合数量随单元数指数级增长。性能指标(如聚焦效率、工作带宽、偏振转换率、特定角度响应)往往无法用简单解析式表达,需依赖计算密集型电磁仿真(如FDTD, FDFD, RCWA)来评估。结构参数微小变化可能引起光学响应的剧烈跃变,目标函数存在多个局部最优解。实际制造通常要求结构参数取自有限的离散值(如特定刻蚀深度、材料库)。

weixin_51101456的博客 1143

多传感器标定:如何统一摄像头、雷达与IMU坐标?

多传感器标定:如何统一摄像头、雷达与IMU坐标?​ ,人工智能,计算机视觉,大模型,AI,本文详细阐述多传感器标定中统一摄像头、雷达与 IMU 坐标的方法。先介绍传感器坐标系统、坐标统一必要性及变换数学基础,再分述摄像头与雷达、IMU 与摄像头、IMU 与雷达的标定原理、步骤、参数计算及结果验证,还讲解了多传感器坐标统一的整体流程,分析了标定常见问题及解决办法,介绍了常用标定工具,结合实际案例说明应用,探讨了标定精度的影响因素、提升方法及发展趋势,为相关领域提供了全面的多传感器标定指导。​

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 12万+

【GlobalMapper精品教程】094:GlobalMapper26简体中文版安装教程(附安装包下载)

【GlobalMapper精品教程】094:GlobalMapper26简体中文版安装教程(附安装包下载)- 基于深度学习的图像分析工具,用于自动识别土地覆盖分类、建筑物提取和车辆检测。新的太阳阴影分析工具,用于计算加载地形和 3D 要素的阴影。新的 GENERATE_SHADOWS 脚本命令允许自动执行这些计算。新增点云模型关键点自动识别。能够在自动点云分析工具中保存和加载自定义创建的要素模型。改进了像素到点中各种潜在重叠图像中 GCP 的自动识别。

智慧空间实验室 4899

hadoop 切片机制详解

hadoop切片机制详解

congge 1万+

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

上一篇: python使用小技巧总结(dir()、help())
下一篇: 近红外光谱建模之样本集划分python实现(SPXY算法)
潘旭阳
博客等级 码龄9年 1393粉丝 129原创
评论 12
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值