- 博客(24)
- 收藏
- 关注
RSS订阅转载 水很深的深度学习Task05
文章目录计算图循环神经网络RNN的发展历程RNN案例长短时记忆网络LSTM循环神经网络的主要应用问答系统自动作曲机器翻译计算图计算图的引入是为了后面更方便的表示网络，计算图是描述计算结构的一种图，它的元素包括节点(node)和边(edge)，节点表示变量，可以是标量、矢量、张量等，而边表示的是某个操作，即函数。下面这个计算图表示复合函数循环神经网络上一章我们已经介绍了CNN，可能我们会想这里为什么还需要构建一种新的网络RNN呢？因为现实生活中存在很多序列化结构，我们需要建立一种更优秀的序列数据模
2021-12-01 11:24:02
378
转载 水很深的深度学习Task04-卷积神经网络CNN
文章目录卷积神经网络CNN卷积CNN基本原理经典CNNLeNet-5AlexNetVGGNetCNN主要应用卷积神经网络CNN之前我们介绍了全连接神经网络，它的权重矩阵的参数非常多。而且往往自然图像中的物体都具有局部不变性特征，即尺度缩放、平移、旋转等操作不影响其语义信息，但是全连接前馈网络很难提取这些局部不变特征，这就引出了我们将要介绍的卷积神经网络（Convolutional Neural Networks，CNN）。卷积神经网络也是一种前馈神经网络，是受到生物学上感受野（感受野主要是指听觉系
2021-11-28 00:06:28
452
转载 水很深的深度学习03
感知机单层感知机1958 年，罗森布拉特( Roseblatt )提出了感知器，与 M-P 模型需 要人为确定参数不同，感知器能够通过训练自动确定参数。训练方式为有监督学习，即需要设定训练样本和期望输出，然后调整实际输出和期望输出之差的方式(误差修正学习)。下面给出感知器模型的训练过程多层感知机单层感知器只能解决线性可分问题，而不能解决线性不可分问题；为了解决线性不可分问题，我们需要使用多层感知器。多层感知器指的是由多层结构的感知器递阶组成的输入值向前传播的网络，也被称为前馈网络或正向传播网
2021-11-23 23:11:17
298
转载 水很深的深度学习task02
基本概念机器学习是指让计算机具有像人一样的学习和思考能力的技术的总称。具体来说是从已知数据中获得规律，并利用规律对未知数据进行预测的技术。机器学习可以做如下两种分类：有监督学习：代表任务“分类”和“回归”无监督学习：代表任务“聚类”和“降维”误差分析误差是指算法实际预测输出与样本真实输出之间的差异。模型在训练集上的误差称为“训练误差”模型在总体样本上的误差称为“泛化误差”模型在测试集上的误差称为“测试误差”由于我们无法知道总体样本会，所以我们只能尽量最小化训练误差， 导致训练误
2021-11-20 20:13:19
202
原创 DIGIX2021基于多目标优化的视频推荐赛道（推荐系统） 的第五课—推荐系统经典比赛复盘
第五课今天学习了 【华为新赛】DIGIX2021基于多目标优化的视频推荐赛道（推荐系统） 的第五课—推荐系统复盘。在这节课，老师主要介绍了以下4个以往在Kaggle上举办的比赛，以此来拓展本次比赛的思路。1、Santander Product Recommendationhttps://www.kaggle.com/c/santander-product-recommendation/赛题任务：给用户推荐个性化金融商品评价指标：MAP@7这个比赛baseline 值得我们学习的思路在于：对类别特
2021-08-07 21:26:25
1013
2
转载 SETI Breakthrough Listen - E.T. Signal Search 第三课作业
自定义模型结构使用timm库使用VIT模型定义Vit模型class VITModel(nn.Module): """ Model Class for VIT Model """ def __init__(self, model_name=Config.model_name, pretrained=True): super(VITModel, self).__init__() self.model = timm.create_model(
2021-06-07 23:45:59
402
原创 SETI Breakthrough Listen - E.T. Signal Search 第二课作业
文章目录1、常见的数据扩增方法MixUp介绍原理缺点AugMix介绍缺点Cutout介绍CutMix介绍2、 加入几种数据扩增完成训练3、学习率改变方法1 等间隔调整学习率 StepLR2 按需调整学习率 MultiStepLR3 指数衰减调整学习率 ExponentialLR4 余弦退火调整学习率 CosineAnnealingLR5 自适应调整学习率 ReduceLROnPlateau6 自定义调整学习率 LambdaLR1、常见的数据扩增方法MixUp介绍（参考https://blog.csd
2021-06-05 22:24:42
240
转载 DataWhale集成学习Task15 集成学习案例二 （蒸汽量预测）
集成学习案例二 （蒸汽量预测）文章目录集成学习案例二 （蒸汽量预测）1 整体思路1.1 整体步骤1.2 评价指标2 实战演练导入package加载数据探索数据分布特征工程模型构建以及集成学习进行模型的预测以及结果的保存1 整体思路1.1 整体步骤1 导入数据集2 探索数据分布3 特征工程4 模型构建并训练5 预测结果并保存1.2 评价指标最终的评价指标为均方误差MSE，即：Score=1n∑1n(yi−y∗)2Score = \frac{1}{n} \sum_1 ^n (y_i -
2021-05-24 00:22:13
719
1
转载 DataWhale集成学习Task14--幸福感预测实战
集成学习案例一 （幸福感预测）背景介绍幸福感是一个古老而深刻的话题，是人类世代追求的方向。与幸福感相关的因素成千上万、因人而异，大如国计民生，小如路边烤红薯，都会对幸福感产生影响。这些错综复杂的因素中，我们能找到其中的共性，一窥幸福感的要义吗？另外，在社会科学领域，幸福感的研究占有重要的位置。这个涉及了哲学、心理学、社会学、经济学等多方学科的话题复杂而有趣；同时与大家生活息息相关，每个人对幸福感都有自己的衡量标准。如果能发现影响幸福感的共性，生活中是不是将多一些乐趣；如果能找到影响幸福感的政策因素，便
2021-05-18 23:37:04
620
转载 DataWhale集成学习Task14--幸福感预测实战
集成学习案例一 （幸福感预测）背景介绍幸福感是一个古老而深刻的话题，是人类世代追求的方向。与幸福感相关的因素成千上万、因人而异，大如国计民生，小如路边烤红薯，都会对幸福感产生影响。这些错综复杂的因素中，我们能找到其中的共性，一窥幸福感的要义吗？另外，在社会科学领域，幸福感的研究占有重要的位置。这个涉及了哲学、心理学、社会学、经济学等多方学科的话题复杂而有趣；同时与大家生活息息相关，每个人对幸福感都有自己的衡量标准。如果能发现影响幸福感的共性，生活中是不是将多一些乐趣；如果能找到影响幸福感的政策因素，便
2021-05-17 21:09:08
256
转载 DataWhale集成学习Task13--Stacking集成学习算法
基于前面对Blending集成学习算法的讨论，我们知道：Blending在集成的过程中只会用到验证集的数据，对数据实际上是一个很大的浪费。为了解决这个问题，我们详细分析下Blending到底哪里出现问题并如何改进。在Blending中，我们产生验证集的方式是使用分割的方式，产生一组训练集和一组验证集，这让我们联想到交叉验证的方式。顺着这个思路，我们对Stacking进行建模(如下图)：首先将所有数据集生成测试集和训练集（假如训练集为10000行,测试集为2500行），那么上层会进行5折交叉检验，使用训
2021-05-14 00:03:33
219
转载 DataWhale集成学习Task12--Blending集成学习算法
文章目录1. 导言2. Blending集成学习算法3. 实战演练4.作业1. 导言在前几个章节中，我们学习了关于回归和分类的算法，同时也讨论了如何将这些方法集成为强大的算法的集成学习方式，分别是Bagging和Boosting。本章我们继续讨论集成学习方法的最后一个成员–Stacking，这个集成方法在比赛中被称为“懒人”算法，因为它不需要花费过多时间的调参就可以得到一个效果不错的算法，同时，这种算法也比前两种算法容易理解的多，因为这种集成学习的方式不需要理解太多的理论，只需要在实际中加以运用即可。
2021-05-12 00:08:18
232
原创 DataWhale集成学习Task11--XGBoost和LightGBM
1. XGBoost算法XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。XGBoost本质上还是一个GBDT，但是力争把速度和效率发挥到极致，所以叫X (Extreme) GBoosted，包括前面说过，两者都是boosting方法。XGBoost是一个优化的分布式梯度增强库，旨在实现高效，灵活和便携。 它在Gradient Boosting框架下实现机器学习算法。 XGB
2021-04-27 01:14:08
209
原创 DataWhale集成学习Task10--前向分步算法与梯度提升决策树
文章目录回顾1. 前向分步算法加法模型（aditive model）前向分布算法前向分布算法与Adaboost之间的关系2. 梯度提升决策树(GBDT)基于残差学习的提升树算法：梯度提升决策树算法(GBDT)：3 作业GradientBoostingRegressor回顾回看Adaboost的算法内容，我们需要通过计算M个基本分类器，每个分类器的错误率、样本权重以及模型权重。我们可以认为：Adaboost每次学习单一分类器以及单一分类器的参数(权重)。接下来，我们抽象出Adaboost算法的整体框架逻辑
2021-04-24 01:01:54
169
原创 DataWhale集成学习Task9--Boosting的思路与Adaboost算法
1. 导论在前面的学习中，我们探讨了一系列简单而实用的回归和分类模型，同时也探讨了如何使用集成学习家族中的Bagging思想去优化最终的模型。Bagging思想的实质是：通过Bootstrap 的方式对全样本数据集进行抽样得到抽样子集，对不同的子集使用同一种基本模型进行拟合，然后投票得出最终的预测。我们也从前面的探讨知道：Bagging主要通过降低方差的方式减少预测误差。那么，本章介绍的Boosting是与Bagging截然不同的思想，Boosting, 也称为增强学习或提升法，是一种重要的集成学习技
2021-04-21 00:35:39
187
原创 DataWhale集成学习Task8--Bagging的原理和案例分析
文章目录bagging法的思路bagging原理分析bagging实战案例Bagging的补充知识Bagging的优点Bagging的缺点Bagging分类简单应用Bagging回归简单应用bagging法的思路上一节提到了投票法，它通过多个模型的集成来降低方差，提高模型的鲁棒性；而bagging和投票法不一样的地方在于Bagging不仅仅集成模型最后的预测结果，同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。在上一章中我们提到，希望各个模型之间具有较大的差异性，而在实际操作中的模型却往
2021-04-17 20:07:28
381
原创 DataWhale集成学习Task7--投票法
投票法思路投票法（voting）是集成学习里面针对分类问题的一种结合策略。基本思想是选择所有机器学习算法当中输出最多的那个类。对于回归模型来说，投票法最终的预测结果是多个其他回归模型预测结果的平均值。对于分类模型，硬投票法的预测结果是多个模型预测结果中出现次数最多的类别，软投票对各类预测结果的概率进行求和，最终选取概率之和最大的类标签。投票法的原理分析投票法是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模型的鲁棒性。在理想情况下，投票法的预测效果应当优于任何一个基模
2021-04-14 11:18:54
541
2
转载 Numpy学习Task1——数据类型和数组创建
常量（了解）1.numpy.nan表示空值。值得注意的是，numpy.nan相互之间是不相等的import numpy as npprint(np.nan == np.nan)print(np.nan != np.nan)FalseTrue扩展: numpy.isnan(x, *args, **kwargs) 用来判断是否为空值，返回布尔类型import numpy as npx = np.array([1, 1, 8, np.nan, 10])print(x)y = np
2021-03-31 15:35:36
559
原创 DataWhale集成学习Task6--掌握分类问题的评估及超参数调优
机器学习模型评估与超参数调优详解摘要：在task3和task4中我们有对回归问题的模型评估和超参数调优进行了简单的介绍，在这一章，我们需要进一步学习机器学习模型评估与超参数调优，以及在最后，完成一个分类的实战演练1. 用管道简化工作流在很多机器学习算法中，我们可能需要做一系列的基本操作后才能进行建模，如：在建立逻辑回归之前，我们可能需要先对数据进行标准化，然后使用PCA将维，最后拟合逻辑回归模型并预测。那有没有什么办法可以同时进行这些操作，使得这些操作形成一个工作流呢？下面请看代码：#加载基本工具库
2021-03-29 23:40:39
551
原创 DataWhale集成学习Task5--掌握基本的分类模型
文章目录总览收集数据集并选择合适的特征选择度量模型性能的指标选择具体的模型并进行训练逻辑回归基于概率的分类模型：线性判别分析基于贝叶斯公式对线性判别分析的理解降维分类的思想理解线性判别分析朴素贝叶斯决策树支持向量机SVM推导过程非线性支持向量机摘要：从Task5开始，我们就开始学习新的模型，有监督学习的另一大类，分类模型。其最大的特点为因变量是离散型变量总览一般来说，一个完整的分类项目分为以下步骤：收集数据集并选择合适的特征选择度量模型性能的指标选择具体的模型并进行训练收集数据集并选择合适
2021-03-27 22:08:36
180
原创 DataWhale集成学习Task4--对模型超参数进行调优
摘要：在Task4中，我们对模型的优化都是通过对模型本身进行改进的，这很大程度上决定于经验，那么，有没有其他的办法找到最佳参数λ\lambdaλ呢？参数与超参数的区别参数模型参数是模型内部的配置变量，其值可以根据数据进行估计。进行预测时需要参数。它参数定义了可使用的模型。参数是从数据估计或获悉的。参数通常不由编程者手动设置。参数通常被保存为学习模型的一部分。参数是机器学习算法的关键，它们通常由过去的训练数据中总结得出。超参数模型超参数是模型外部的配置，其值无法从数据中估计。超参
2021-03-24 23:26:19
1137
1
原创 DataWhale集成学习Task3--优化基础模型
摘要：在之前的Task中，我们构建了诸如线性回归，回归树等等的模型，了解了他们的不同优缺点，那么接下来，我们就需要学习如何进一步地优化模型，记住，我们的目的不是为了让模型在训练集效果越准越好，而是在测试集上有很好的预测效果。回顾在此之前补充前面助教留的作业：查询sklearn中树模型的参数意义：class sklearn.tree.DecisionTreeRegressor(*, criterion='mse', splitter='best', max_depth=
2021-03-22 22:02:58
721
原创 DataWhale集成学习Task2--掌握基本的回归模型
摘要：回顾Task1，分类属于有监督学习的应用之一，其因变量是连续型变量，下面我们来详细解读一下分类，掌握分类的基本模型机器学习基础度量指标MSE均方误差：MSE(y,y^)=1nsamples∑i=0nsamples−1(yi−y^i)2.\text{MSE}(y, \hat{y}) = \frac{1}{n_\text{samples}} \sum_{i=0}^{n_\text{samples} - 1} (y_i - \hat{y}_i)^2.MSE(y,y^)=nsamples1∑i=
2021-03-18 23:19:09
196
原创 DataWhale集成学习Task1--机器学习的三大主要任务
机器学习的三大主要任务摘要：机器学习在人工智能中一直是一个很热门的概念，那么什么是机器学习呢？今天就来好好了解一下机器学习机器学习的三大主要任务吧概论机器学习的一个重要的目标就是利用数学模型来理解数据，发现数据中的规律，用作数据的分析和预测。这里说的数据数据，一般是由一组向量组成的，其中的每一个向量就是一个样本。一个样本通常包括p+1个维度，前p个维度 我们称之为特征，最后一个维度我们称之为因变量。而特征与因变量的关系是：特征是用来描述影响因变量的的因素，比如：我们研究温度对苹果成熟的影响时，温度就是
2021-03-15 21:39:18
271
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人