光谱预处理算法(python版本)

一文入门近红外光谱数据建模(基础知识总结篇) 本文简述了通过近红外光谱数据建模实现农产品无损检测的大体流程以及方式,适合入门者参考。 阅读详情
AI摘要

本文介绍了基于Python的光谱预处理方法,包括环境搭建、库的引入、数据处理和展示,以MSC为例展示了预处理效果。提供了一段示例代码,并提及后续将更新MATLAB版本。代码来源于湖南师范大学,用于学术目的,作者提供了联系方式。

系列文章目录

近红外光谱分析技术属于交叉领域,需要化学、计算机科学、生物科学等多领域的合作。为此,在(北京邮电大学杨辉华老师团队)指导下,近期准备开源传统的PLS,SVM,ANN,RF等经典算和SG,MSC,一阶导,二阶导等预处理以及GA等波长选择算法以及CNN、AE等最新深度学习算法,以帮助其他专业的更容易建立具有良好预测能力和鲁棒性的近红外光谱模型。



前言

NIRS是介于可见光和中红外光之间的电磁波,其波长范围为(1100∼2526 nm。 由于近红外光谱区与有机分子中含氢基团(OH、NH、CH、SH)振动的合频和 各级倍频的吸收区一致,通过扫描样品的近红外光谱,可以得到样品中有机分子含氢 基团的特征信息,常被作为获取样本信息的一种有效的载体。 基于NIRS的检测方法具有方便、高效、准确、成本低、可现场检测、不 破坏样品等优势,被广泛应用于各类检测领域。但 近红外光谱存在谱带宽、重叠较严重、吸收信号弱、信息解析复杂等问题,与常用的 化学分析方法不同,仅能作为一种间接测量方法,无法直接分析出被测样本的含量或 类别,它依赖于化学计量学方法,在样品待测属性值与近红外光谱数据之间建立一个 关联模型(或称校正模型,Calibration Model) ,再通过模型对未知样品的近红外光谱 进行预测来得到各性质成分的预测值。现有近红外建模方法主要为经典建模 (预处理+波长筛选进行特征降维和突出,再通过pls、svm算法进行建模)以及深度学习方法(端到端的建模,对预处理、波长选择等依赖性很低)

本篇主要讲述基于python语言的光谱预处理方法,稍后更新matlab语言版本的光谱预处理方法,

一、预处理算法

# 最大最小值归一化
def MMS(data):
    """
       :param data: raw spectrum data, shape (n_samples, n_features)
       :return: data after MinMaxScaler :(n_samples, n_features)
       """
    return MinMaxScaler().fit_transform(data)


# 标准化
def SS(data):
    """
        :param data: raw spectrum data, shape (n_samples, n_features)
       :return: data after StandScaler :(n_samples, n_features)
       """
    return StandardScaler().fit_transform(data)


# 均值中心化
def CT(data):
    """
       :param data: raw spectrum data, shape (n_samples, n_features)
       :return: data after MeanScaler :(n_samples, n_features)
       """
    for i in range(data.shape[0]):
        MEAN = np.mean(data[i])
        data[i] = data[i] - MEAN
    return data


# 标准正态变换
def SNV(data):
    """
        :param data: raw spectrum data, shape (n_samples, n_features)
       :return: data after SNV :(n_samples, n_features)
    """
    m = data.shape[0]
    n = data.shape[1]
    print(m, n)  #
    # 求标准差
    data_std = np.std(data, axis=1)  # 每条光谱的标准差
    # 求平均值
    data_average = np.mean(data, axis=1)  # 每条光谱的平均值
    # SNV计算
    data_snv = [[((data[i][j] - data_average[i]) / data_std[i]) for j in range(n)] for i in range(m)]
    return  data_snv



# 移动平均平滑
def MA(data, WSZ=11):
    """
       :param data: raw spectrum data, shape (n_samples, n_features)
       :param WSZ: int
       :return: data after MA :(n_samples, n_features)
    """

    for i in range(data
近红外光谱建模之光谱预处理python实现(二) 目录 4 多元散射矫正处理 5 标准正态变量变换处理 6 一阶差分处理 7 二阶差分处理 4 多元散射矫正处理 def msc(sdata): n = sdata.shape[0] # 样本数量 k = np.zeros(sdata.shape[0]) b = np.zeros(sdata.shape[0]) M = np.mean(sdata, ... 阅读详情

相关推荐

光谱预处理最简单实现方法--基于OpenSA光谱分析库

系列文章目录 “光晰本质,谱见不同”,光谱作为物质的指纹,被广泛应用于成分分析中。伴随微型光谱仪/光谱成像仪的发展与普及,基于光谱的分析技术将不只停留于工业和实验室,即将走入生活,实现万物感知,见微知著。本系列文章致力于光谱分析技术的科普和应用。 文章目录系列文章目录前言一、数据来源二、代码解读2.1 读取数据2 .2 划分数据集2 .3 返回训练集和测试集并绘制光谱图片2.4 建立1-D CNN模型2.5 训练1-D CNN模型2.6 测试1-D CNN模型2.7 运行CNN模型,并用查看结果总结

Echo_Code的博客 7070

AI 驱动近红外光谱分析:从数据预处理到模型构建的全流程革新

本文系统介绍了人工智能(AI)与Python在近红外光谱分析中的全流程应用,涵盖从基础编程到高阶模型实践的多个技术点。通过ChatGPT、DeepSeek等大语言模型,结合PyTorch框架,文章详细讲解了数据预处理、特征提取、模型优化等关键步骤,并展示了多元线性回归、BP神经网络、支持向量机(SVM)、决策树、随机森林、Adaboost、XGBoost、LightGBM、遗传算法、卷积神经网络(CNN)等多种机器学习与深度学习模型在近红外光谱分析中的应用。文章还提供了AI编程环境搭建、代码生成与调试、模型

2403_89974123的博客 1657

python光谱预处理:多元散射校正(MSC)

python光谱预处理:多元散射校正(MSC) 多元散射校正能消除基线漂移和平移现象。 我个人理解是MSC会把所有样本往均值上拉。 搜了一下似乎没有找到比较理想的py代码,于是糊了一个简单无脑的,只需安装numpy包。 代码经测试可用 如何插入一段漂亮的代码片 import numpy as np def msc(X): #+++++ 输入:X = m × p 矩阵,m个样本,p个特征。X 应为 ndarray 数据类型) #+++++ 输出:X_msc = m × p me = np.m

yezi96的博客 4636

python读取红外图

1.opencv读的话,读取方式 unchanged,值为-1, img=(img/4).astype(np.uint8) 2.换用np.fromfile接口,有时读的图不对,还没找到原因 def bin2numpy_ex(file_path, shape): rawImg = np.fromfile(file_path, dtype=np.uint16) rawImg = rawImg[: shape[0]*shape[1]] pic_gray = rawImg.re...

jacke121的专栏 6257

Python光谱预处理-归一化、平滑、基线校正

采用Python实现光谱数据预处理,归一化、平滑、基线校正

Dfreedom.的博客 1万+

光谱数据分析全流程解读

本文系统介绍了光谱分析技术及其化学计量学方法,重点阐述了拉曼光谱数据处理流程。光谱分析通过解析物质与光的相互作用获取特征信息,化学计量学则运用数学和统计学方法优化数据提取。数据处理包括预处理(归一化、滤波去噪、基线校正)、特征量提取和数学模型建立三大核心模块。其中,归一化处理采用min-max和Z-score标准化方法,去噪运用滑动中值/均值/S-G滤波算法,基线校正通过多项式拟合实现。最后通过回归分析建立浓度预测模型。该技术体系为物质定性和定量分析提供了可靠工具。

Dfreedom.的博客 3万+

基于Python的近红外光谱分析:深入解析光谱预处理与波长选择方法及其应用前景

近红外光谱分析已经成为多个行业中不可或缺的分析工具。光谱预处理和波长选择作为其核心技术,直接影响分析模型的精度与可靠性。随着机器学习和深度学习技术的快速发展,光谱分析方法也不断升级,尤其在波长选择和特征提取领域取得了显著进展。本文详细探讨了常见的光谱预处理方法和波长选择策略,结合Python编程语言,提供了具体的技术实现与应用示例。无论是在实验室研究还是工业生产中,这些方法都能为快速、准确的近红外光谱分析提供有力支持。

m0_57781768的博客 1255

iVISSA光谱特征波段筛选:从概率收缩到区间优化,彻底告别盲目全谱建模

近红外与拉曼光谱建模时,全谱输入往往导致模型过拟合与迁移失效,核心原因在于无关波长稀释了有效信号,因此特征波段筛选成为提升模型稳健性的关键步骤。变量选择不是简单的“挑峰”,而需要在模型误差驱动下,从数百个波长中迭代收缩出真正有效的特征谱区。iVISSA作为一种改进的区间变量迭代收缩算法,通过两级搜索将连续谱区纳入优化目标,在RMSECV引导下兼顾预测精度与光谱物理意义。它适用于光谱定量分析、化工过程质量监控、农产品品质检测等场景,尤其适合希望摆脱手工选点、建立可复现建模流程的工程师与研究者。本文从算法原理出

weixin_33829657的博客 341

高光谱遥感数据集

高光谱图像数据集,包含Indian,Pavia。每类数据集里包含图像原始信息,以及相对应的ground truth

Windows域账户无管理员权限也能装软件?3步搞定UAC设置(附安全提醒)

本文探讨了在Windows域环境中,如何通过配置用户账户控制(UAC)实现临时提权,让无管理员权限的域账户也能安装软件。文章详细介绍了三步走策略:临时加入本地管理员组、调整UAC行为以及至关重要的权限回收,并提供了脚本化部署方案与安全实践指南,旨在平衡企业IT管理的效率与安全。

fox11的博客 763

zds1104示波器使用指南

(2)将探头连接到探头补偿端,按下auto setup按键,一键捕获。(3)连接需要测量信号,开始查看波形。操作说明书,可以自行查看操作说明书。

m0_61973119的博客 6782

STM32F103 实例应用(10)——I2C读写24C32

一、应用简介 本文介绍24C32的读写,基于野火的软件I2C程序。 board_i2c.h /**=========================================================================== @file board_i2c.h @brief 本文件是用于I2C驱动 @author 青梅煮久 @version r0.1 @date 2021/01/13 -------------------------.

qq_34118600的博客 3447

R语言分段回归

1.利用虚拟变量进行线性回归 (MEdata.csv的数据来源:https://github.com/ChenQihome9/优快云-Data-Library/blob/master/MEdata.csv) 问题13:针对TAX~GDP,使用分段回归方法,找到其回归方程。编程,并根据程序结果叙述如下几方面问题:(1)分几段最佳?(不超过5段内)(2)分段位置定在哪儿最佳?(3)写出最佳方...

ChenQihome9的博客 1万+

用Python的fengwo模块复刻通达信筹码峰(COST/WINNER),选股效率提升10倍

本文介绍了如何使用Python的fengwo模块高效复刻通达信的筹码峰(COST/WINNER)计算,显著提升选股效率。通过C++内核与多线程优化,fengwo模块将传统Python实现的数小时计算压缩至分钟级,解决了量化交易中的性能瓶颈问题。文章详细解析了筹码峰计算原理、fengwo模块的技术架构及实战应用,助力量化开发者构建高效选股系统。

weixin_29062823的博客 441

基石篇:多模态数据工程导论与核心概念

多模态数据工程不是写Python脚本处理几张图片,而是设计并构建一套系统,来规模化地生产高质量、可追溯、符合合规要求的模型就绪数据。本文将为你建立正确的数据工程思维框架,明确其在多模态AI生态中的战略地位,并为后续的深入学习奠定坚实基础。

jiaquan3011的博客 629

OpenCV入门(一)Python环境的搭建

因为有点Python基础,并且Python是比较好入门的编程语言,所以,机器视觉后面打算在Python这个平台下进行。

小幽余生不加糖 8124

芒果YOLOv8改进160:姿态估计Head篇:即插即用|轻量化非对称多级压缩LOADH旋转检测头,原创改进适配YOLOv8高效检测头,检测头新颖改进,全网首发独一份

芒果YOLOv8改进159:OBB旋转检测头Head篇:即插即用|轻量化非对称多级压缩LOADH旋转检测头,原创改进适配YOLOv8高效检测头,检测头新颖改进,全网首发独一份

包括YOLOv5、YOLOv7、YOLOv8等模型改进 814

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

上一篇: 近红外光谱基础知识—数据预处理
下一篇: 光谱预处理算法(matlab版本)
Echo_Code
博客等级 码龄7年 795粉丝 25原创
评论 48
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值