开源近红外光谱数据集

光谱预处理算法(python版本) 系列文章目录 近红外光谱分析技术属于交叉领域,需要化学、计算机科学、生物科学等多领域的合作。为此,团队(北邮邮电大学杨辉华老师团队)近期准备开源传统的pls,svm,ann,rf等经典算法,以及sg,msc,一阶导,二阶导等预处理以及ga等波长选择算法,和CNN、AE等最新深度学习算法,以帮助其他专业的更容易建立具有良好预测能力和鲁棒性的近红外光谱模型。 例如:第一章 Python 机器学习入门之pandas的使用 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录系列文章目录前言 阅读详情
AI摘要

本文介绍了由北京邮电大学杨辉华老师团队指导的近红外光谱数据集开源项目,包括PLS、SVM、ANN等经典算法和预处理技术,以及CNN、AE等深度学习模型。数据集和代码可在GitHub仓库获取,旨在促进多学科合作,帮助建立预测准确的光谱模型。

系列文章目录

近红外光谱分析技术属于交叉领域,需要化学、计算机科学、生物科学等多领域的合作。为此,在(北京邮电大学杨辉华老师团队)指导下,近期准备开源传统的PLS,SVM,ANN,RF等经典算和SG,MSC,一阶导,二阶导等预处理以及GA等波长选择算法以及CNN、AE等最新深度学习算法,以帮助其他专业的更容易建立具有良好预测能力和鲁棒性的近红外光谱模型。



前言

NIRS是介于可见光和中红外光之间的电磁波,其波长范围为(1100∼2526 nm。 由于近红外光谱区与有机分子中含氢基团(OH、NH、CH、SH)振动的合频和 各级倍频的吸收区一致,通过扫描样品的近红外光谱,可以得到样品中有机分子含氢 基团的特征信息,常被作为获取样本信息的一种有效的载体。 基于NIRS的检测方法具有方便、高效、准确、成本低、可现场检测、不 破坏样品等优势,被广泛应用于各类检测领域。但 近红外光谱存在谱带宽、重叠较严重、吸收信号弱、信息解析复杂等问题,与常用的 化学分析方法不同,仅能作为一种间接测量方法,无法直接分析出被测样本的含量或 类别,它依赖于化学计量学方法,在样品待测属性值与近红外光谱数据之间建立一个 关联模型(或称校正模型,Calibration Model) ,再通过模型对未知样品的近红外光谱 进行预测来得到各性质成分的预测值。现有近红外建模方法主要为经典建模 (预处理+波长筛选进行特征降维和突出,再通过pls、svm算法进行建模)以及深度学习方法(端到端的建模,对预处理、波长选择等依赖性很低)

本篇主要讲述常见用于近红外光谱定性和定量分析的开源数据集。

一文入门近红外光谱数据建模(基础知识总结篇) 本文简述了通过近红外光谱数据建模实现农产品无损检测的大体流程以及方式,适合入门者参考。 阅读详情

相关推荐

基于PCA和PLS的近红外光谱建模

系列文章目录 近红外光谱分析技术属于交叉领域,需要化学、计算机科学、生物科学等多领域的合作。为此,在(北邮邮电大学杨辉华老师团队)指导下,近期准备开源传统的PLS,SVM,ANN,RF等经典算和SG,MSC,一阶导,二阶导等预处理以及GA等波长选择算法以及CNN、AE等最新深度学习算法,以帮助其他专业的更容易建立具有良好预测能力和鲁棒性的近红外光谱模型。 文章目录系列文章目录前言一、数据来源二、代码解读1.读取数据并显示光谱曲线2.划分训练集和测试集3.PCA降维并显示4.建立校正模型(数据拟合)5.模型

Echo_Code的博客 1万+

基于一维度卷积网络的的近红外光谱建模

系列文章目录 近红外光谱分析技术属于交叉领域,需要化学、计算机科学、生物科学等多领域的合作。为此,在(北京邮电大学杨辉华老师团队)指导下,近期准备开源传统的PLS,SVM,ANN,RF等经典算和SG,MSC,一阶导,二阶导等预处理以及GA等波长选择算法以及CNN、AE等最新深度学习算法,以帮助其他专业的更容易建立具有良好预测能力和鲁棒性的近红外光谱模型。 文章目录系列文章目录前言一、数据来源二、代码解读1.1 读取数据1 .2 划分数据集1 .3 返回训练集和测试集并绘制光谱图片2.1 建立1-D CN

Echo_Code的博客 9090

基于SVM的近红外光谱建模

系列文章目录 近红外光谱分析技术属于交叉领域,需要化学、计算机科学、生物科学等多领域的合作。为此,在(北京邮电大学杨辉华老师团队)指导下,近期准备开源传统的PLS,SVM,ANN,RF等经典算和SG,MSC,一阶导,二阶导等预处理以及GA等波长选择算法以及CNN、AE等最新深度学习算法,以帮助其他专业的更容易建立具有良好预测能力和鲁棒性的近红外光谱模型。 文章目录系列文章目录前言一、数据来源二、代码解读2.1 载入数据2.1 基于SVM的药品光谱分类2.1.1 建立SVM参数寻找,找到最佳的SVM参数2

Echo_Code的博客 6728

从科研到临床:手把手教你用Python实现fNIRS脑网络的图论分析(附代码与数据)

本文详细介绍了如何利用Python实现fNIRS脑网络的图论分析,从科研到临床应用的完整流程。通过代码示例和实战案例,帮助读者掌握脑功能连接分析的关键技术,包括信号预处理、功能连接矩阵构建、图论指标计算与可视化。特别适合神经科学研究和临床医生学习应用。

weixin_30875157的博客 406

近红外光谱建模实战:27个产线项目验证的预处理与PLS关键细节

近红外光谱建模是分析化学与工业过程控制中的核心定量技术,其本质是通过光与物质相互作用的物理信号反演组分信息。理解吸光度、散射效应、信噪比等基础概念,掌握基线校正、波段截取、MSC散射校正等原理,才能避免将预处理误当作数据清洗——它实为对仪器偏差与样品物理状态的数学补偿。技术价值在于实现高精度、高鲁棒性的在线快检,广泛应用于制药QC、农产品水分测定、白酒酒精度预测等场景。本文聚焦近红外光谱建模中PLS参数选择、异常样本诊断、变量筛选与产线部署等真实项目高频痛点,深度融合光谱预处理和PLS建模两大热词,提供可复

weixin_30402231的博客 331

教程 | 近红外数据的预处理和平均(上)

近红外光谱(NIRS)是一种测量流经传感器所在组织的血液中氧合水平的方法。它基于这样一个事实,即含氧血红蛋白和脱氧血红蛋白具有不同的吸收光谱,因此你会看到它有不同的颜色。大多数近红外系统在每个光源光电二极管发射2个波长的光,通常约700和850nm,有些系统则使用3个波长。

u011661076的博客 2602

值得收藏fNIRS功能近红外数据处理工具包盘点

1.NIRS_SPM 可以说是做fNIRS激活分析必用的一款开源工具包,该工具包由韩国KAIST的生物成像信号处理 (BISP) 实验室开发。NIRS_SPM基于SPM工具包和Matlab平台,可以识别目前主流fNIRS厂商设备采集的数据格式,它基于一般线性模型GLM对fNIRS进行激活分析和统计(一阶分析和组分析)。此外,NIRS_SPM还具有对数据的简单预处理(比如说滤波等)、通道的定位(如输出每个通道的MNI坐标等)、ROI分析、时间序列分析等功能,如图1。 网址:https://www.nitrc.

悦影科技 2993

开源fNIRS脑机接口帽技术解析与应用

功能性近红外光谱(fNIRS)是一种非侵入式脑功能成像技术,通过测量大脑皮层血红蛋白浓度变化来反映神经活动。其核心原理基于比尔-朗伯定律,利用660nm和940nm双波长光源区分氧合血红蛋白(HbO)和脱氧血红蛋白(HbR)。相比EEG和fMRI,fNIRS兼具运动耐受性和空间分辨率优势。OpenNIRScap作为开源可穿戴设备,采用模块化设计和STM32微控制器架构,实现了高性价比的脑机接口解决方案。该系统在神经科学研究、临床康复监测和教育领域具有广泛应用前景,特别是其开源特性为开发者提供了灵活的技术平台

weixin_33603316的博客 485

光谱波长筛选算法

常见光谱波长筛选算法原理及对应代码,包括SPA、LAR、UVE、CARS

Echo_Code的博客 2万+

百元级开源fNIRS脑电头带DIY:从硬件到信号处理全解析

脑机接口(BCI)技术旨在建立大脑与外部设备之间的直接通信通路,其核心在于对神经活动信号的采集与解码。在非侵入式脑信号采集领域,功能性近红外光谱(fNIRS)技术因其对运动伪影的高容忍度和相对明确的皮层定位能力,成为实验室外实践的重要选择。该技术通过测量大脑皮层血氧浓度的变化来间接反映神经活动,在认知状态监测、神经反馈训练等应用场景中展现出独特价值。本文聚焦于一个基于fNIRS原理的开源DIY项目,详细阐述了如何利用低成本硬件(如ESP32-S3微控制器和柔性PCB传感器)构建一个可工作的脑电波头带,并深入

weixin_33672109的博客 745

fNIRS | 非平稳波形的预处理方法

导读本文提出了功能性近红外光谱(fNIRS)数据预处理的算法。该方法可以自动识别噪声通道,并采用非平稳滤波步骤来去趋势和去除高频干扰源。使用最近发布的累积曲线拟合近似(CCFA)算法对信号进行滤波,以减少由于fNIRS数据的非平稳性导致的失真效应。将输出结果与基于离散余弦变换(DCT)的滤波、低通滤波(LPF)和带通滤波(BPF)方法进行比较。结果表明,与常用或常规方法相比,基于CCFA的滤波具有更大的信噪比(SNR)改善。

u011661076的博客 3562

GoldenCheetah:开源运动数据分析平台,从功率数据到生理洞察的实战指南

在运动科学和耐力训练领域,数据驱动的决策正成为提升表现的核心。其原理在于通过采集心率、功率等多维度生理与运动数据,结合生理模型进行量化分析,从而将模糊的“感觉”转化为客观的“指标”。这一过程的技术价值在于实现了训练负荷的精准量化、疲劳状态的科学管理以及运动能力的个性化建模,为运动员和教练提供了超越平均功率的深度洞察。应用场景广泛覆盖公路自行车、铁人三项等耐力运动的日常训练分析、周期计划制定、比赛战术复盘以及装备效能评估。本文聚焦于开源工具GoldenCheetah,它通过整合临界功率(CP)、W'平衡等关键

weixin_34233974的博客 274

EEG-fNIRS数据分析

EEG: 通过无源电压评估(passive voltages evaluations)来捕捉大脑电活动的宏观时间动态。fNIRS:通常依赖于通过光纤或纤维束向头皮内射入和探测光线。光纤在电方面绝缘于受试者,且它们可以使光源和探测器离头皮足够远。不同的仪器技术程序被开发出来,并用于近红外光谱监测。具体可以识别出三个主要类别,TD系统使用非常短的光脉冲(picoseconds),而FD系统使用无线电频率调制的光(50 MHz)来研究感兴趣的组织。由于其简单的技术特点,连续波CW。

weixin_45770505的博客 1750

47、近红外光谱数据的机器学习校准:可视化编程方法

本文介绍了一种基于可视化编程的近红外光谱数据机器学习校准方法,利用开源软件Orange实现非编程人员对光谱数据的分类与回归分析。通过两个案例研究展示了该方法的应用:一是使用SVM、KNN和ANN对喷洒不同浓度农药的卷心菜进行分类,最高准确率达92%;二是采用AdaBoost回归算法预测芒果的白利糖度值,训练集R²达0.99,测试集为0.64。研究表明,Orange平台降低了光谱数据分析的技术门槛,为食品质量检测等领域提供了便捷高效的工具。

salt9的博客 75

脑机接口数据集大全:AI研究者必备资源指南

脑机接口(BCI)是人工智能与神经科学的交叉前沿领域,其核心是通过分析大脑信号(如脑电、血氧变化)实现“大脑直接控制设备”或“设备反向刺激大脑”。对于AI研究者而言,没有高质量的数据集,再先进的算法也无法落地。脑机接口的核心信号类型与采集方式全球主流公开数据集的分类与特点(含访问链接)从数据下载到模型训练的全流程实战指南不同研究场景下的数据集选择策略先通过生活案例理解脑机接口的核心信号(如EEG、fNIRS);按信号类型、应用场景分类梳理主流数据集;

AI智能探索者的博客 1274

高光谱遥感数据集

高光谱图像数据集,包含Indian,Pavia。每类数据集里包含图像原始信息,以及相对应的ground truth

基于stm32平台上的IC-MU磁绝对值编码器SPI通讯和码盘数据处理

基于stm32平台上的IC-MU磁绝对值编码器SPI通讯和码盘数据处理

watch361的博客 1万+

立创EDA + AI 生成 STM32 原理图教程3

本文介绍了三种将AI与嘉立创EDA结合的方案:1)官方easyeda-api-skill,支持通过自然语言指令自动完成PCB设计,需安装网关插件建立连接;2)社区开发的MCP Server方案,通过Model Context Protocol暴露39个工具接口;3)Circuit DSL设计模式,采用三层校验机制确保AI输出的JSON格式电路描述准确可靠。三种方案各具特色,官方方案易用性强,社区方案工具丰富,DSL模式则通过结构化数据提升可靠性,为AI辅助电路设计提供了不同层级的解决方案。

shihui2003的博客 3801

ThinkPHP 8.1 + think-swoole 4.1 实战:5分钟搞定WebSocket聊天室(附完整代码)

本文详细介绍了如何使用ThinkPHP 8.1和think-swoole 4.1快速构建高并发WebSocket聊天室。通过5分钟实战教程,开发者可以轻松实现用户列表、消息广播等核心功能,支持2000+并发连接,适用于客服系统、在线协作等实时通信场景。

ol789012345的博客 127

TMS320F280049C 学习笔记21 交叉开关 Crossbar (X-BAR)

简单介绍了X-BAR。

whyorwhnt的专栏 2万+

使用Simulink进行无刷电机霍尔传感器信号处理电路的仿真

位置检测:霍尔传感器可以检测转子的位置,这对于实现无刷电机的电子换向至关重要。提高效率:通过准确的位置信息,可以优化电机的工作状态,提高效率和性能。通过上述步骤,我们简要介绍了如何基于Simulink实现无刷电机霍尔传感器信号处理电路的仿真。

MHD0815的博客 433

HBV模型

据说mHM模型也是基于HBV模型原理。 网上不同版本的HBV模型稍有差别 def hbv_main(n_days, params, air_temp, prec, dpem): #n_days 模拟天数 #air_temp 每月温度 #prec 降水 #dpem 每月蒸发 Tsnow_thresh = 0.0 ca = 410. # Initialize arrays for the simiulation snow = np.zeros(air_temp.size

m0_46268055的博客 2334

ViT 实战 万字全攻略:从图像分类到医学影像,Transformer 重塑视觉 AI

摘要:本文深度解析 ViT(Vision Transformer)算法在视觉任务中的原理与实践,涵盖图像分类、目标检测、语义分割及医学影像分析四大领域。从理论出发,详细拆解图像分块、位置编码、Transformer 编码器等核心机制;通过 PyTorch 与 Timm 库实现模型构建、训练与优化,提供 CIFAR-10、Pascal VOC、Cityscapes 及医学数据集的完整代码示例。针对工业级部署,重点介绍模型量化、TensorRT 加速、Flask API 开发及 Docker 容器化方案。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 1944

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

上一篇: 基于PCA和PLS的近红外光谱建模
下一篇: 基于一维度卷积网络的的近红外光谱建模
Echo_Code
博客等级 码龄7年 795粉丝 25原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值