光谱预处理算法(python版本)

一文入门近红外光谱数据建模(基础知识总结篇) 本文简述了通过近红外光谱数据建模实现农产品无损检测的大体流程以及方式,适合入门者参考。 阅读详情
AI摘要

本文介绍了基于Python的光谱预处理方法,包括环境搭建、库的引入、数据处理和展示,以MSC为例展示了预处理效果。提供了一段示例代码,并提及后续将更新MATLAB版本。代码来源于湖南师范大学,用于学术目的,作者提供了联系方式。

系列文章目录

近红外光谱分析技术属于交叉领域,需要化学、计算机科学、生物科学等多领域的合作。为此,在(北京邮电大学杨辉华老师团队)指导下,近期准备开源传统的PLS,SVM,ANN,RF等经典算和SG,MSC,一阶导,二阶导等预处理以及GA等波长选择算法以及CNN、AE等最新深度学习算法,以帮助其他专业的更容易建立具有良好预测能力和鲁棒性的近红外光谱模型。



前言

NIRS是介于可见光和中红外光之间的电磁波,其波长范围为(1100∼2526 nm。 由于近红外光谱区与有机分子中含氢基团(OH、NH、CH、SH)振动的合频和 各级倍频的吸收区一致,通过扫描样品的近红外光谱,可以得到样品中有机分子含氢 基团的特征信息,常被作为获取样本信息的一种有效的载体。 基于NIRS的检测方法具有方便、高效、准确、成本低、可现场检测、不 破坏样品等优势,被广泛应用于各类检测领域。但 近红外光谱存在谱带宽、重叠较严重、吸收信号弱、信息解析复杂等问题,与常用的 化学分析方法不同,仅能作为一种间接测量方法,无法直接分析出被测样本的含量或 类别,它依赖于化学计量学方法,在样品待测属性值与近红外光谱数据之间建立一个 关联模型(或称校正模型,Calibration Model) ,再通过模型对未知样品的近红外光谱 进行预测来得到各性质成分的预测值。现有近红外建模方法主要为经典建模 (预处理+波长筛选进行特征降维和突出,再通过pls、svm算法进行建模)以及深度学习方法(端到端的建模,对预处理、波长选择等依赖性很低)

本篇主要讲述基于python语言的光谱预处理方法,稍后更新matlab语言版本的光谱预处理方法,

一、预处理算法

# 最大最小值归一化
def MMS(data):
    """
       :param data: raw spectrum data, shape (n_samples, n_features)
       :return: data after MinMaxScaler :(n_samples, n_features)
       """
    return MinMaxScaler().fit_transform(data)


# 标准化
def SS(data):
    """
        :param data: raw spectrum data, shape (n_samples, n_features)
       :return: data after StandScaler :(n_samples, n_features)
       """
    return StandardScaler().fit_transform(data)


# 均值中心化
def CT(data):
    """
       :param data: raw spectrum data, shape (n_samples, n_features)
       :return: data after MeanScaler :(n_samples, n_features)
       """
    for i in range(data.shape[0]):
        MEAN = np.mean(data[i])
        data[i] = data[i] - MEAN
    return data


# 标准正态变换
def SNV(data):
    """
        :param data: raw spectrum data, shape (n_samples, n_features)
       :return: data after SNV :(n_samples, n_features)
    """
    m = data.shape[0]
    n = data.shape[1]
    print(m, n)  #
    # 求标准差
    data_std = np.std(data, axis=1)  # 每条光谱的标准差
    # 求平均值
    data_average = np.mean(data, axis=1)  # 每条光谱的平均值
    # SNV计算
    data_snv = [[((data[i][j] - data_average[i]) / data_std[i]) for j in range(n)] for i in range(m)]
    return  data_snv



# 移动平均平滑
def MA(data, WSZ=11):
    """
       :param data: raw spectrum data, shape (n_samples, n_features)
       :param WSZ: int
       :return: data after MA :(n_samples, n_features)
    """

    for i in range(data
近红外光谱建模之光谱预处理python实现(二) 目录 4 多元散射矫正处理 5 标准正态变量变换处理 6 一阶差分处理 7 二阶差分处理 4 多元散射矫正处理 def msc(sdata): n = sdata.shape[0] # 样本数量 k = np.zeros(sdata.shape[0]) b = np.zeros(sdata.shape[0]) M = np.mean(sdata, ... 阅读详情

相关推荐

光谱预处理最简单实现方法--基于OpenSA光谱分析库

系列文章目录 “光晰本质,谱见不同”,光谱作为物质的指纹,被广泛应用于成分分析中。伴随微型光谱仪/光谱成像仪的发展与普及,基于光谱的分析技术将不只停留于工业和实验室,即将走入生活,实现万物感知,见微知著。本系列文章致力于光谱分析技术的科普和应用。 文章目录系列文章目录前言一、数据来源二、代码解读2.1 读取数据2 .2 划分数据集2 .3 返回训练集和测试集并绘制光谱图片2.4 建立1-D CNN模型2.5 训练1-D CNN模型2.6 测试1-D CNN模型2.7 运行CNN模型,并用查看结果总结

Echo_Code的博客 7070

AI 驱动近红外光谱分析:从数据预处理到模型构建的全流程革新

本文系统介绍了人工智能(AI)与Python在近红外光谱分析中的全流程应用,涵盖从基础编程到高阶模型实践的多个技术点。通过ChatGPT、DeepSeek等大语言模型,结合PyTorch框架,文章详细讲解了数据预处理、特征提取、模型优化等关键步骤,并展示了多元线性回归、BP神经网络、支持向量机(SVM)、决策树、随机森林、Adaboost、XGBoost、LightGBM、遗传算法、卷积神经网络(CNN)等多种机器学习与深度学习模型在近红外光谱分析中的应用。文章还提供了AI编程环境搭建、代码生成与调试、模型

2403_89974123的博客 1657

python光谱预处理:多元散射校正(MSC)

python光谱预处理:多元散射校正(MSC) 多元散射校正能消除基线漂移和平移现象。 我个人理解是MSC会把所有样本往均值上拉。 搜了一下似乎没有找到比较理想的py代码,于是糊了一个简单无脑的,只需安装numpy包。 代码经测试可用 如何插入一段漂亮的代码片 import numpy as np def msc(X): #+++++ 输入:X = m × p 矩阵,m个样本,p个特征。X 应为 ndarray 数据类型) #+++++ 输出:X_msc = m × p me = np.m

yezi96的博客 4636

python读取红外图

1.opencv读的话,读取方式 unchanged,值为-1, img=(img/4).astype(np.uint8) 2.换用np.fromfile接口,有时读的图不对,还没找到原因 def bin2numpy_ex(file_path, shape): rawImg = np.fromfile(file_path, dtype=np.uint16) rawImg = rawImg[: shape[0]*shape[1]] pic_gray = rawImg.re...

jacke121的专栏 6257

Python光谱预处理-归一化、平滑、基线校正

采用Python实现光谱数据预处理,归一化、平滑、基线校正

Dfreedom.的博客 1万+

光谱数据分析全流程解读

本文系统介绍了光谱分析技术及其化学计量学方法,重点阐述了拉曼光谱数据处理流程。光谱分析通过解析物质与光的相互作用获取特征信息,化学计量学则运用数学和统计学方法优化数据提取。数据处理包括预处理(归一化、滤波去噪、基线校正)、特征量提取和数学模型建立三大核心模块。其中,归一化处理采用min-max和Z-score标准化方法,去噪运用滑动中值/均值/S-G滤波算法,基线校正通过多项式拟合实现。最后通过回归分析建立浓度预测模型。该技术体系为物质定性和定量分析提供了可靠工具。

Dfreedom.的博客 3万+

基于Python的近红外光谱分析:深入解析光谱预处理与波长选择方法及其应用前景

近红外光谱分析已经成为多个行业中不可或缺的分析工具。光谱预处理和波长选择作为其核心技术,直接影响分析模型的精度与可靠性。随着机器学习和深度学习技术的快速发展,光谱分析方法也不断升级,尤其在波长选择和特征提取领域取得了显著进展。本文详细探讨了常见的光谱预处理方法和波长选择策略,结合Python编程语言,提供了具体的技术实现与应用示例。无论是在实验室研究还是工业生产中,这些方法都能为快速、准确的近红外光谱分析提供有力支持。

m0_57781768的博客 1255

iVISSA光谱特征波段筛选:从概率收缩到区间优化,彻底告别盲目全谱建模

近红外与拉曼光谱建模时,全谱输入往往导致模型过拟合与迁移失效,核心原因在于无关波长稀释了有效信号,因此特征波段筛选成为提升模型稳健性的关键步骤。变量选择不是简单的“挑峰”,而需要在模型误差驱动下,从数百个波长中迭代收缩出真正有效的特征谱区。iVISSA作为一种改进的区间变量迭代收缩算法,通过两级搜索将连续谱区纳入优化目标,在RMSECV引导下兼顾预测精度与光谱物理意义。它适用于光谱定量分析、化工过程质量监控、农产品品质检测等场景,尤其适合希望摆脱手工选点、建立可复现建模流程的工程师与研究者。本文从算法原理出

weixin_33829657的博客 341

高光谱遥感数据集

高光谱图像数据集,包含Indian,Pavia。每类数据集里包含图像原始信息,以及相对应的ground truth

阿里云大模型ACP认证模拟考试(二)

摘要:在阿里云大模型高级工程师 ACP 认证暂无真题题库的现状下,模拟题具有重要意义。其依照真实考试设计,涵盖题型、题量与分值分布,助力考生熟悉考试框架,合理分配答题时间精力,提升效率。同时,模拟题紧扣官方课程,能帮助考生精准定位知识盲点,如大模型架构原理和通义千问应用实践等重点内容,以便针对性完善知识体系。此外,通过练习模拟题,考生可掌握不同题型的解题思维与技巧,快速洞察复杂题目本质,提高答题准确率。

davidkorhenn的博客 2086

SMR实战指南:从GWAS数据到eQTL分析的完整流程

本文提供了基于汇总数据的孟德尔随机化(SMR)实战指南,详细解析了如何从GWAS汇总数据出发,整合eQTL数据,完成从数据准备、BESD格式转换到最终SMR与HEIDI分析的完整流程。文章重点阐述了核心操作步骤、常见避坑技巧与结果解读,旨在帮助遗传学研究者高效掌握这一分析基因表达与复杂性状潜在因果关系的强大工具。

weixin_29246195的博客 1076

一口气看完TransformerXL详细解释带代码一:相对位置编码

相对位置编码(Relative Position Encoding)是Transformer模型中用于捕捉序列元素间相对位置关系的一种方法,与绝对位置编码(如BERT中的固定位置嵌入)不同,它直接建模元素之间的相对距离,从而更灵活地处理长序列或不同长度的序列。1. 为什么需要相对位置编码?​。

m0_73426548的博客 1427

Proteus快速入门(最详细教程)

Proteus 是一款用于嵌入式单片机仿真的软件,用于在打PCB板之前对软件程序和硬件电路的正确性进行仿真验证。1.所以Proteus一般会和Keil软件进行联合仿真,在Proteus中绘制系统的电路图,在Keil软件中编写对应的程序后生成Hex文件。2.Proteus的仿真结果仅供参考,只能在一定程度上验证系统的可能性。实际实物系统还需要进行进一步的调试。以上即为本次分享的Proteus入门教程的全部内容,希望可以能够帮助到各位道友。

ediykk的博客 15万+

从零开始:用摩尔线程S4000运行开源AI项目的完整流程

本文详细介绍了如何使用摩尔线程S4000 GPU从零开始运行开源AI项目的完整流程,包括硬件选择、驱动安装、容器化环境配置以及典型AI项目的实战部署。通过性能优化技巧,显著提升推理速度,适合开发者快速上手国产GPU的AI应用开发。

weixin_29231725的博客 584

【LAMMPS学习】八、基础知识(4.5)TIP5P水模型

​ 五点 TIP5P 刚性水模型通过添加两个通常无质量的附加位点 L 来扩展three-point TIP3P model,其中放置与氧原子相关的电荷。这些位点 L 位于距氧原子固定距离处,形成从 HOH 平面旋转 90 度的四面角。因此,这些位点在某种程度上近似于氧的孤对,从而改善了水结构,与four-point TIP4P model相比变得更加“四面体”。

荷塘阅色 1422

【定位模块项目实战】gnss_localizer、lidar_localizer功能包解析

系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 TODO:写完再整理 文章目录系列文章目录前言一、1.2.3.4.二、1.2.3.4.三、1.2.3.4.四、1.2.3.4.总结参考资料 前言 认知有限,望大家多多包涵,有什么问题也希望能够与大家多交流,共同成长! 本文先对**【无人驾驶autoware项目实战】感知–定位模块**做个简单的介绍,具体内容后续再更,其他模块可以参考去我其他文章 提示:以下是本篇文章正文内容 一、 1. 2. 3. 4. . . 二、

qq_35635374的博客 1931

AI测试干货:Claude Code Skill 从入门到精通

本文介绍了Claude Code Skill功能如何解决AI重复工作问题。传统提示词方式需要人工复制粘贴,而Skill功能通过建立AI工作记忆库实现智能触发和分层加载。Skill包含工作指令、文档和资源,能自动执行任务。文章以API测试用例生成为例,展示了Skill的创建流程和结构化设计,包括测试框架、覆盖场景和输出格式,显著提升测试工程师的工作效率。

blues_C的博客 2446

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

上一篇: 近红外光谱基础知识—数据预处理
下一篇: 光谱预处理算法(matlab版本)
Echo_Code
博客等级 码龄7年 795粉丝 25原创
评论 48
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值