- 博客(14)
- 收藏
- 关注
原创 【学习笔记】动手学深度学习(数据操作-softmax回归)(自用)
一、先明确所有前提(维度是核心!先把所有变量的维度、定义卡死,这是所有推导的基础,线性代数里默认约定:二、核心矛盾:向量求导的 2 种布局约定90% 的人搞不懂转置,都是因为没搞懂「布局约定」,这是教材 / 课程之间写法差异的根源。1. 两种布局的核心区别布局类型核心规则(标量对列向量求导)导数形状对应结果分子布局(雅可比布局,你截图里用的就是这个)导数形状 = 「分子维度在前,分母维度在后」,标量 (1,1) 对列向量 (n,1) 求导,结果排成行向量(1,n)
2026-05-18 20:09:06
433
原创 【论文学习】一种用于电动汽车锂电池健康状态估计和剩余使用寿命预测的端到端神经网络框架
本文提出了一种基于CNN-ASTLSTM混合神经网络的锂电池健康状态(SOH)估计和剩余使用寿命(RUL)预测方法。该方法通过结合卷积神经网络(CNN)提取电池退化数据的局部特征,以及主动状态跟踪长短期记忆网络(AST-LSTM)捕捉时序依赖性,实现了对锂电池老化的精准建模。研究还利用改进的贝叶斯优化算法自动配置神经网络超参数,显著提升了模型性能。实验结果表明,该方法在SOH估计和RUL预测任务中均优于现有方法,具有更高的准确性和鲁棒性。该方法为电池管理系统提供了有效的在线健康监测方案,可支持电池的预测性维
2026-05-08 03:41:15
532
原创 【鸟类识别BirdCLEF+ 2026】pantanal-distill-birdclef2026方案(中文翻译版)
本文提出了一种基于ProtoSSMv4和MLP集成的鸟类声音分类方法,主要创新点包括: 模型架构创新: 采用双向选择性状态空间模型(SSM)进行时序建模,捕捉鸟类鸣唱的时序规律 引入交叉注意力机制增强非局部模式识别能力 结合原型分类头和元数据感知能力 训练优化技术: 使用Mixup+CutMix混合数据增强 焦点损失处理类别不平衡问题 随机权重平均(SWA)提升模型稳定性 5折分组交叉验证确保评估可靠性 后处理流程: 分类群感知的温度缩放校准 文件级置信度缩放 排名感知后处理 增量偏移平滑 逐类别阈值优化
2026-04-19 19:36:19
658
原创 【kaggel学习笔记】Stacked Regressions : Top 4% on LeaderBoard-堆叠回归:排行榜Top 4%
本文介绍了Kaggle房价预测项目的数据处理和建模过程。数据处理阶段包括:异常值处理、缺失值填充、特征工程(如类型转换、标签编码、Box-Cox变换等)和独热编码。建模部分采用多种回归模型(Lasso、ElasticNet、XGBoost等)并进行模型堆叠(Stacking),通过5折交叉验证训练基础模型,再用元模型(Lasso)进行组合预测。最终通过加权融合堆叠模型、XGBoost和LightGBM的预测结果,取得了较好的预测效果。文章还总结了数据处理流程和堆叠模型的原理,展示了从数据预处理到模型集成的完
2026-04-04 20:14:31
920
原创 【kaggel学习笔记】A study on Regression applied to the Ames dataset-基于Ames房价数据集的回归模型研究
本文介绍了Kaggle房价预测项目中应用的高级回归技术,重点探讨了数据预处理、特征工程和正则化回归模型的应用。主要内容包括:1) 异常值处理与缺失值填充;2) 特征类型转换和有序编码;3) 创新性特征工程方法;4) 四种回归模型(线性回归、岭回归、Lasso回归和弹性网络)的对比分析。通过精细的数据预处理和特征工程,仅使用线性回归模型就取得了0.121的优异成绩。文章还详细分析了数据泄露问题,并提出了正确的数据处理流程建议。该案例展示了如何通过业务理解、数据清洗和特征工程显著提升线性回归模型的预测性能。
2026-04-04 16:44:54
431
原创 【kaggel学习笔记】Regularized Linear Models-正则化线性模型
这篇文章摘要: 本文介绍了一个房价预测项目的完整流程,使用正则化线性回归模型(Lasso和Ridge)进行处理。主要内容包括: 数据预处理:对数值特征进行log变换使其接近正态分布,对分类特征进行独热编码,用均值填充缺失值。 模型构建与评估: 使用Ridge回归并通过交叉验证寻找最优alpha参数 采用LassoCV自动选择特征并优化参数 对比两种模型的RMSE表现 模型融合: 加入XGBoost模型 对Lasso和XGBoost的预测结果进行加权平均融合 关键技巧: 通过Lasso自动特征选择 使用交叉验
2026-03-30 15:49:48
493
原创 【kaggel学习笔记】Comprehensive data exploration with Python 使用python进行全面数据探索
本文介绍了Kaggle房价预测项目的完整数据分析流程。首先通过EDA(探索性数据分析)理解数据分布,识别出4个核心特征:OverallQual、YearBuilt、TotalBsmtSF和GrLivArea。然后进行数据清洗,处理缺失值和异常值,并对目标变量SalePrice进行对数变换以改善正态性。针对地下室面积包含0值的问题,创新性地将其拆分为"有无地下室"二元特征和对数变换后的面积特征。最后通过热力图分析特征相关性,并完成分类变量的独热编码。整个过程展示了从数据理解、特征选择到预处
2026-03-28 20:12:27
1003
原创 【kaggel房价预测】Housing Prices Competition for Kaggle Learn Users
本文介绍了基于Kaggle房价预测竞赛的数据处理和深度学习建模流程。首先对原始数据进行预处理,包括数值型特征的Z-score标准化和非数值型特征的独热编码。随后构建了两种神经网络模型(单层线性回归和深度MLP),采用Adam优化器并实现K折交叉验证来评估模型性能。通过调整超参数(学习率、权重衰减等),最终将RMSE误差从0.16优化至0.10,在Kaggle排行榜上获得2045名的成绩。实验表明深度神经网络相比简单线性模型能显著提升预测精度,同时文章详细记录了模型训练过程和关键实现细节,为结构化数据的深度学
2026-03-27 18:39:24
360
原创 【kaggel竞赛项目】BirdCLEF+ 2026_实践全过程
本文介绍了BirdCLEF鸟类声音识别竞赛的解决方案开发过程。首先详细说明了环境配置和本地训练流程,包括创建conda环境、安装依赖库等步骤。然后介绍了v1.0试运行版代码的各个模块功能,包括数据预处理、模型构建、训练验证流程等。针对v1.0版本存在的问题,提出了v2.0基线版改进方案,重点优化了模型预加载机制、数据兼容性和训练流程。通过分析提交结果失败原因,提出了增加验证集监控、防止过拟合和增强数据泛化能力等优化措施。最后展示了优化后的训练/验证损失变化趋势,并提出了针对性改进方案,包括增大Dropout
2026-03-19 05:36:38
974
原创 【深度学习笔记】回归模型-新冠人数预测
本文实现了一个基于PyTorch的神经网络模型,用于预测新冠疫情感染人数。主要包含以下内容: 数据处理: 自定义CovidDataset类继承Dataset,实现数据加载和预处理 使用标准化处理消除量纲影响 按5:1比例划分训练集和验证集 模型架构: 两层全连接神经网络(93→128→1) 使用ReLU激活函数增强非线性 输出层为单神经元回归预测 训练流程: 采用SGD优化器进行参数更新 使用MSE损失函数评估模型 记录训练/验证损失并绘制曲线 保存验证集上表现最好的模型 预测评估: 加载最优模型进行测试集
2026-03-16 22:53:44
327
原创 【深度学习笔记】linear代码案例
为了方便记忆,可以把整个过程想象成一个工厂质检流水线数据接口 (是送料员。他从仓库(XY)里随机抓一把零件(batchsize),送到工作台。模型 (fun是工人。他拿着当前的工具(w_0b_0)去加工零件,产出一个预测结果。损失函数 (maeloss是质检员。他对比工人的成品和标准样品,算出一个差错值(loss自动求导 (backward是复盘分析。质检员分析刚才的差错,推导出是哪个工具(w或b)出了问题,以及问题有多大(gradSGD (sgd是修理工。
2026-03-11 17:58:24
348
原创 【算法总结】洛谷算法1-1模拟与高精度(实时更新版)
这段代码实现了乒乓球比赛的比分计算功能。程序读取输入字符序列(W表示赢球,L表示输球),分别按照11分制和21分制两种规则计算并输出比赛结果。核心函数culculatescore()遍历输入字符串,统计比分,当一方得分达到k分(11或21)且领先至少2分时输出当前比分并清零计数器。处理完所有输入后,还会输出未完成的最后一局比分。主函数通过循环读取输入字符直到遇到'E'结束,然后分别调用11分和21分制的计算函数。字符串输入形式很实用。
2026-02-14 14:25:10
52
原创 【深度学习笔记】多层神经网络
摘要:激活函数赋予神经网络非线性能力,使多层网络区别于单层网络。常用激活函数包括Sigmoid和ReLU,后者计算更高效。神经网络通过全连接层(多层感知机)实现复杂映射,参数包括权重和偏置。深度学习使用梯度下降优化损失函数,需进行链式求导。实践表明:无激活函数无法拟合非线性数据;ReLU网络过深可能导致输出不平滑;神经网络擅长复杂任务但对简单回归效果有限,大模型需大量先验知识。需注意过拟合与欠拟合问题,网络架构设计本质是函数设计过程。
2026-02-11 11:05:33
334
原创 【深度学习笔记】深度学习概述
摘要:机器学习可分为基于数学统计的传统方法(如KNN算法)和以实践为目的的深度学习。深度学习通过构建函数模型处理多种任务:回归、分类和生成任务。以线性回归为例,其过程包括:1)定义模型y^=wx+b;2)建立损失函数L(w,b);3)采用梯度下降算法优化参数w和b,通过计算偏导和学习率𝜂调整参数使损失最小。该方法通过迭代更新参数,逐步逼近最优解。
2026-02-09 21:20:52
100
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅