读博后降维打击数学建模！

最新推荐文章于 2024-02-02 08:00:26 发布
原创 最新推荐文章于 2024-02-02 08:00:26 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #java #机器学习 #python #算法

本文由康涅狄格大学Datawhale成员分享，通过读博后的视角解析数学建模美赛，探讨如何解决A题和B题。A题涉及真菌分解模型，通过阅读文献理解真菌活动与分解率的关系，建立回归模型。B题关注救援通信优化，分析无人机配置与通信范围，提出平衡成本与安全的模型。

 Datawhale干货 

作者：小雨姑娘，康涅狄格大学，Datawhale成员

文章来自知乎提问：如何评价 2021 年美国大学生数学建模竞赛？今年赛情如何？

来凑个热闹降维打击美赛了，写一写前两题的思路。2018年读大二的时候拿了一次美赛H，现在已经读PhD了，再看当时做的跟屎一样。看了几个回答发现很多人甚至对题目的理解都是错的，私以为比赛最重要的是解决问题，而不是堆砌一堆花里胡哨的很Fancy的方法。

A题

第一问：描述 breakdown of ground litter and woody fibers 在  fungal activity in multiple species of fungi 下的情况

要解决这个问题首先要搞明白用什么来量化分解情况？有什么影响分解的情况？fungal activity真菌活动是什么？多种真菌到底是哪几种？

介于我们不是养蘑菇专家，我们能获取的信息基本都来源于A trait-based understanding of wood decomposition by fungi 这篇文章，下载下来看看有哪些信息。虽然我们不能抄袭论文里面的方法，但可以帮助我们了解一些基本概念。

在Introduction里面我们发现一句话：

Models traditionally used microbial biomass as a proxy of decomposer activity (3, 6), treating the microbial community as a single homogeneous group or a small number of functionally distinct pools (7).

传统方法一般使用 microbial biomass 生物量来代表分解者活动，这个问题里面显然fungi就是decomposer， 所以fungi的量应该就代表这个问题里面的真菌活动状况。阅读文章后，我们发现实验中的hyphal density(菌丝密度) 应该就是对应这个生物量。

To characterize the growth of each isolate, we quantified its hyphal extension rate and hyphal density (presented in ref. 34)

那么用什么来量化分解情况呢？论文里面是这样说的：

Here, we explore which fungal characteristics predict wood decomposition rate across a range of co

最低0.47元/天 解锁文章
Datawhale
关注
数学建模 —— 降维算法
qq_52928524的博客
08-20 6119
降维算法
【Datawhale组队学习】零基础入门推荐系统 - 新闻推荐【Task 02】
weixin_40535594的博客
11-27 1012
Task 02: 数据分析 目标：当特征工程和模型调参已经很难继续提高分数时，从新的角度出发重新去分析数据，力求找到提分的灵感。 数据分析的价值主要在于熟悉了解整个数据集的基本情况包括每个文件里有哪些数据，具体的文件中的每个字段表示什么实际含义，以及数据集中特征之间的相关性，在推荐场景下主要就是分析用户本身的基本属性、文章基本属性、以及用户和文章交互的一些分布，这些都有利于后面的召回策略的选择，以及特征工程。 步骤： 1、读取数据：分别读取训练集点击记录数据train_click_log.csv、文章数据a
开源学习组织：Datawhale
热门推荐
Datawhale
06-05 2万+
Datawhale是什么？ http://www.datawhale.club/ Datawhale是一个专注于AI领域的开源组织，致力于构建一个纯粹的学习圈子，帮助学习者更好地成长。我们专注于机器学习，深度学习，编程和数学等AI领域的内容学习，我们不是内容的生产者，我们向优秀的资料和优秀的学习者致敬。 我们将渴望改变的小伙伴聚集在一起，共同构建一个互促高效的学习氛围；我们将一群有能力有想法的...
datawhale开源项目：动手学大模型应用开发第二三次打卡调用大模型API大模型开发流程及架构
soulermax的博客
11-20 2614
Prompt 最初是 NLP（自然语言处理）研究者为下游任务设计出来的一种任务专属的输入模板，类似于一种任务（例如：分类，聚类等）会对应一种 Prompt。在 ChatGPT 推出并获得大量应用之后，Prompt 开始被推广为给大模型的所有输入。即，我们每一次访问大模型的输入为一个 Prompt，而大模型给我们的返回结果则被称为 Completion。例如，在下面示例中，我们给 ChatGPT 的提问 “NLP 中的 Prompt 指什么”是我们的提问，其实也就是我们此次的 Prompt；
第37期Datawhale组队学习——数据可视化（Matplotlib）
weixin_44259058的博客
05-17 1106
目录前言学习路线Task01：Matplotlib初相识（5.16、5.17）Task02：艺术画笔见乾坤（5.18-5.22）Task03：布局格式定方圆（5.23、5.24）Task04：文字图例尽眉目（5.25-5.27）Task05：样式色彩秀芳华（5.28、5.29） 前言 Datawhale第37期组队学习来了！这次选择的是Datawhale开源学习项目——“数据可视化（Matplotlib）”，学习周期为5.16-5.30，在此记录初次接触NLP的小白学习历程。基于教程写的比较详细，这里的记录
datawhale学习-算法入门与数组篇
qq_73954586的博客
09-10 719
数据结构是程序的骨架，而算法则是程序的灵魂。本文梳理了在datawhale 01~02天学习到的数据结构与算法的入门知识，结合一些对应python中的代码的分析与解答，希望帮助大家入门数据结构及算法。
数学建模数据处理：34种数据降维方法代码
07-14
在数据分析和数学建模中，数据降维是一个关键步骤，尤其当处理高维数据时，降低数据维度可以简化模型，减少计算复杂性，同时保留最重要的信息。本资源包含34种不同的数据降维方法的代码，这对于理解各种降维技术及其...
Matlab中常用的34种数据降维方法(数学建模)
11-17
在数学建模和数据分析中，数据降维是一个重要的步骤，它能将高维数据转换到低维空间，同时尽可能保留原始数据的结构和特征。Matlab作为一种功能强大的数学计算软件，提供了多种数据降维方法，这些方法能够帮助研究...
主成分分析降维工具_数据预处理特征提取降维算法数学建模统计计算协方差矩阵特征值分解数据可视化_用于高维数据集降维减少计算复杂度去除冗余信息提取主要特征支持机器学习模型训练优化数据存.zip
最新发布
09-13
主成分分析降维工具_数据预处理特征提取降维算法数学建模统计计算协方差矩阵特征值分解数据可视化_用于高维数据集降维减少计算复杂度去除冗余信息提取主要特征支持机器学习模型训练优化数据存.zip
遗传算法的优化计算——建模自变量降维_降维_建模自变量降维_优化建模_
09-30
在"遗传算法的优化计算——建模自变量降维"的主题中，我们主要探讨如何利用遗传算法对复杂的建模自变量进行有效的降维处理，以提高模型的计算效率和准确性。 首先，我们要理解建模自变量降维的重要性。在数据分析和...
【Datawhale课程笔记-简单学点大模型】模型架构
JeffDing
09-16 494
与仅仅根据频率进行拆分不同，一个更“有原则”的方法是定义一个目标函数来捕捉一个好的分词的特征，这种基于目标函数的分词模型可以适应更好分词场景，Unigram model就是基于这种动机提出的。您可能已经注意到，根据定义，标记的嵌入不依赖于其在序列中的位置，因此两个句子中的𝗆𝗈𝗎𝗌𝖾将具有相同的嵌入，从而在句子位置的角度忽略了上下文的信息，这是不合理的。然而，自然语言并不是以标记序列的形式出现，而是以字符串的形式存在（具体来说，是Unicode字符的序列），比如上面的序列的自然语言为“
datawhale 学习笔记——数据分析入门
落队的飞行兵
03-24 1457
写在前面（这部分是废话） 这是参加 datawhale 数据挖掘的第一次打卡，打卡内容是数据分析，希望自己能坚持做下去。开始的时候，第一天看了一下题目背景，运行了一下 baseline，刚好中期报告要改，就放下了。今天在这里做一下数据分析这部分的笔记。 介绍 本文主要是根据天池上的教程进行学习的，一些不理解地方做了笔记，内容没有教程全，附上教程链接：Datawhale 零基础入门数据挖掘-Task...
Datawhale数据分析课程第二章
miaochangq的博客
08-20 1741
Datawhale数据分析课程第二章准备工作数据清洗及特征处理相关定义缺失值观察与处理任务一：缺失值观察(1) 请查看每个特征缺失值个数(2) 请查看Age， Cabin， Embarked列的数据 以上方式都有多种方式，所以大家多多益善任务二：对缺失值进行处理(1)处理缺失值一般有几种思路(2) 请尝试对Age列的数据的缺失值进行处理(3) 请尝试使用不同的方法直接对整张表的缺失值进行处理重复值观察与处理任务一：请查看数据中的重复值任务二：对重复值进行处理(1)重复值有哪些处理方式呢？(2)处理我们数据的
异常值检测03
weixin_48595729的博客
05-18 184
感谢Datawhale提供的学习资料 Datawhale是一个专注于数据科学与AI领域的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员。Datawhale以“for the learner，和学习者一起成长”为愿景，鼓励真实地展现自我、开放包容、互信互助、敢于试错和勇于担当。同时Datawhale 用开源的理念去探索开源内容、开源学习和开源方案，赋能人才培养，助力人才成长，建立起人与人，人与知识，人与企业和人与未来的联结。 ...
Day07-集成学习-机器学习-投票法(DataWhale)
liying_tt的博客
04-12 2204
一、投票法 1.1 介绍 原理 遵循少数服从多数原则，通过多个模型的集成降低方差。理想情况，投票法的预测效果优于任何一个基模型的预测结果 分类 回归投票法：预测结果是所有模型预测结果的平均值 分类投票法：预测结果是所有模型中出现最多的预测结果 硬投票：所有投票结果出现最多的类 软投票：所有投票结果中概率和平均最大的类 原则 想要投票法产生较好的结果，需要满足: 基模型之间的效果不能差别很大。当某个模型相对于其他基模型效果差时，该模型可能是噪声 基模型之间应该有较小的同质性。例如在基模型预测效果近
datawhale 学习笔记——特征工程入门
落队的飞行兵
03-28 643
特征工程介绍 我理解的特征工程是一种更深层的数据分析，为特定的数据做处理，深挖其中的信息，以便后续模型得到更好的效果。 本文是参考天池二手车预测比赛的教程——特征工程做的笔记，task3 中提到了很多特征处理的方法，主要介绍了其中的五种方法： 异常数据处理 特征构造 数据分桶 特征归一化 特征筛选 首先，导入需要的包，并载入...
AI领域｜内容全开源，质量还高
职业：影像开发； 爱好：骑车、跑步~
02-02 572
第一次知道datawhale，是看到了一个网友的评论，而且还不少人点赞。那我想，应该是个不错的东西，就先记录了下来。Datawhale是什么？Datawhale是一个专注于AI领域的开源组织，致力于构建一个纯粹的学习圈子，帮助学习者更好地成长。专注于机器学习，深度学习，编程和数学等AI领域的内容学习。现在Ai的确是火，未来社会不知道会发展成怎样，不过肯定少不了ai。网上关于ai的各种学习资料也是一...
2、Datawhale入门-数据分析
zzb_10000hkjh的博客
03-24 364
0. EDA学习 概念 探索性数据分析（Exploratory Data Analysis，简称EDA）是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。 分析变量 1、频率和众数：针对于无序的分类的变量 2、百分位数：针对于有序的或连续的变量 3、位置度量：均值和中位数 4、方差、标准...
数学建模问题如何降维
09-07
<think> 嗯，用户现在明确要了解数学建模中的降维方法，而且特别提到要参考站内引用内容。用户之前已经讨论过高维问题简化，但这次更聚焦在数学建模竞赛场景下的降维技术。 从用户提供的引用来看，[2][3][5]都详细讨论了降维，特别是[2]强调降维能解决维度灾难、提升计算效率，[5]还对比了PCA和因子分析的优劣。用户应该需要实用性的方法总结，可能是为数学建模比赛做准备。 注意到用户引用中出现了论文降重[1]和读博后降维打击[4]这类非技术内容，需要过滤干扰信息。核心要整理的是引用[2][3][5]中的降维技术： 1. 主成分分析(PCA) - 线性无监督，通过协方差矩阵特征分解保留高方差方向[^2] 2. 因子分析(FA) - 比PCA解释性更强，通过相关系数矩阵提取公共因子[^5] 3. 典型相关性分析(CCA) - 处理两组变量间的相关关系[^3] 用户上次对话中提到的核技巧和SVM虽然能处理高维数据，但严格来说不属于降维范畴，这次应该聚焦在维度压缩技术。需要补充引用中没提及但常用的t-SNE和LDA，因为可视化需求在建模中很重要（引用[2]提到过可视化需求）。 特别要注意引用[5]的提醒：主成分解释性可能模糊，需要运气。这点必须在优缺点对比中强调。表格呈现方法对比时，要把计算复杂度、适用场景等建模关心的要素包含进去。 用户可能是参赛学生，时间紧迫，回答需要立即可操作。示例代码选PCA最稳妥，因为引用资料最完整。最后生成的问题要围绕建模场景：方法选择、结果解释、竞赛应用技巧等。 </think> 以下是数学建模中常用的降维方法总结，结合引用内容和技术原理： --- ### 一、核心降维方法 1. **主成分分析（PCA）** - **原理**：通过正交变换将相关变量转为线性无关的主成分，保留最大方差方向。 - 计算协方差矩阵 $C = \frac{1}{n} X^T X$ - 求解特征方程 $C\mathbf{v} = \lambda\mathbf{v}$，取前 $k$ 大特征值对应特征向量 - **优势**： - 有效消除冗余特征，降低存储和计算成本[^2] - 避免“维度灾难”，提升模型鲁棒性[^2][^5] - **局限**：主成分解释性较弱，需依赖原始变量选取[^5] 2. **因子分析（FA）** - **原理**：将变量表示为公共因子和特殊因子的线性组合： $$X = \Lambda F + \epsilon$$ 其中 $\Lambda$ 为因子载荷矩阵，$F$ 为公共因子 - **对比PCA**： - 更强调变量间的内在关联，解释性更强[^3][^5] - 需进行KMO检验（>0.6适合因子分析）和Bartlett球形检验[^5] - **适用场景**：问卷分析、隐变量挖掘 3. **典型相关分析（CCA）** - **原理**：研究两组变量 $X=(x_1,...,x_p)$ 和 $Y=(y_1,...,y_q)$ 的相关性 - 寻找投影向量 $\mathbf{a},\mathbf{b}$ 最大化相关系数： $$\rho = \max \frac{\text{cov}(\mathbf{a}^TX, \mathbf{b}^TY)}{\sqrt{\text{var}(\mathbf{a}^TX)\text{var}(\mathbf{b}^TY)}}$$ - **特点**：适用于多变量组关联分析，如经济指标与环境因素关系[^3] --- ### 二、方法选择指南 | **方法** | 适用场景 | 优势 | 注意事项 | |---------------|---------------------------------|-----------------------------|-------------------------| | PCA | 高维数据可视化、特征压缩 | 计算高效，无需假设分布 | 主成分物理意义可能模糊[^5] | | 因子分析(FA) | 潜变量挖掘、问卷维度缩减 | 结果易于解释，可处理测量误差 | 需满足因子分析前提条件[^5] | | CCA | 两组变量关联分析（如基因-环境交互） | 揭示多对多相关性 | 对异常值敏感，需大样本量 | | t-SNE | 高维数据可视化（如聚类结果展示） | 保持局部结构，可视化效果优异 | 计算复杂度高，不保留全局结构 | --- ### 三、实施步骤与示例（PCA） ```python from sklearn.decomposition import PCA import numpy as np # 生成模拟数据（100样本×20维） X = np.random.randn(100, 20) # PCA降维至3维 pca = PCA(n_components=3) X_reduced = pca.fit_transform(X) # 输出主成分贡献率 print("方差解释率:", pca.explained_variance_ratio_) ``` > **关键参数**： > - `n_components`：保留主成分数（通常使累计贡献率 >85%） > - 可通过碎石图（Scree Plot）确定最佳维度[^5] --- ### 四、降维的数学建模意义 1. **解决维度灾难**： - 高维空间数据稀疏性导致模型泛化能力下降，降维提升鲁棒性[^2] 2. **计算效率提升**： - 将 $O(n^3)$ 矩阵运算降至 $O(k^3)$（$k \ll n$）[^2] 3. **去噪与可解释性**： - 保留高信噪比特征，剔除随机噪声[^2][^5] 4. **可视化支持**： - 将千万维数据（如基因序列）投影至2D/3D空间[^2] --- ### 关键建议 > **“降维不是目的，而是服务于问题本质”** > 1. 优先使用**因子分析**当需要强解释性（如社科问题）[^5] > 2. 大规模数据首选**PCA**（计算效率高） > 3. 务必验证降维效果： > - 累计方差贡献率 >85%（PCA） > - KMO检验 >0.6（因子分析） > - 降维后模型精度损失 <5%
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值