- 博客(200)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 pandas组队学习6:链接
第六章 连接内容来源:datawhaleimport numpy as npimport pandas as pd一、关系型连接1. 连接的基本概念把两张相关的表按照某一个或某一组键连接起来是一种常见操作，例如学生期末考试各个科目的成绩表按照姓名\color{red}{姓名}姓名和班级\color{red}{班级}班级连接成总的成绩表，又例如对企业员工的各类信息表按照员工ID号\color{red}{员工ID号}员工ID号进行连接汇总。由此可以看出，在关系型连接中，键\color{red}
2020-12-29 12:29:32
377
原创 强化学习6
1 关键词DDPG(Deep Deterministic Policy Gradient)： 在连续控制领域经典的RL算法，是DQN在处理连续动作空间的一个扩充。具体地，从命名就可以看出，Deep是使用了神经网络；Deterministic 表示 DDPG 输出的是一个确定性的动作，可以用于连续动作的一个环境；Policy Gradient 代表的是它用到的是策略网络，并且每个 step 都会更新一次 policy 网络，也就是说它是一个单步更新的 policy 网络。其与DQN都有目标网络和经验回放的
2020-11-08 21:14:38
360
1
原创 强化学习5
Sparse Reward and Imitation Learning1 关键词reward shaping： 在我们的agent与environment进行交互时，我们人为的设计一些reward，从而“指挥”agent，告诉其采取哪一个action是最优的，而这个reward并不是environment对应的reward，这样可以提高我们estimate Q-function时的准确性。ICM（intrinsic curiosity module）： 其代表着curiosity drive
2020-11-05 22:37:25
918
1
原创 强化学习4
1 keywordA2C： Advantage Actor-Critic的缩写，一种Actor-Critic方法。A3C： Asynchronous（异步的）Advantage Actor-Critic的缩写，一种改进的Actor-Critic方法，通过异步的操作，进行RL模型训练的加速。Pathwise Derivative Policy Gradient： 其为使用 Q-learning 解 continuous action 的方法，也是一种 Actor-Critic 方法。其会对于
2020-11-03 21:32:42
397
1
原创 Policy Gradient and From On-policy to Off-policy
REINFORCE: Monte Carlo Policy Gradient蒙特卡洛可以理解为算法完成一个 episode 之后，再拿这个 episode 的数据来去 learn 一下，做一次更新。因为我们已经拿到了一整个 episode 的数据的话，也能够拿到每一个 step 的 reward，我们可以很方便地去计算每个 step 的未来总收益，就是我们的期望，就是我们的回报 GtG_tGt 。GtG_tGt 是我们的未来总收益，GtG_tGt 代表是从这个 step 后面，我能拿到的收益之和是
2020-10-29 22:30:44
590
原创 二手车预测：task2：数据分布
2.1 EDA目标EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。完成对于数据的探索性分析，并对于数据进行一些图表或...
2020-03-22 22:02:14
19206
原创 使用stratifiedKFold进行分层交叉验证时候报错:ValueError: Supported target types are: ('binary', 'multiclass'). Got
ValueError Traceback (most recent call last)<ipython-input-42-2ab744268d80> in <module>() 20 print('---------分割线--------------') 21 sfolder = Stra...
2020-03-22 17:52:52
5573
3
原创 二手车预测：task1：赛题分析
train.csvname - 汽车编码regDate - 汽车注册时间model - 车型编码brand - 品牌bodyType - 车身类型fuelType - 燃油类型gearbox - 变速箱power - 汽车功率kilometer - 汽车行驶公里notRepairedDamage - 汽车有尚未修复的损坏regionCode - 看车地区编码seller...
2020-03-21 16:39:40
416
原创 pytorch-数据增强
图像增广在5.6节（深度卷积神经网络）里我们提到过，大规模数据集是成功应用深度神经网络的前提。图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以对图像进行不同方式的裁剪，使感兴趣的物体出现在不同位置，...
2020-02-25 10:31:34
563
原创 pytorch-模型微调
9.2 微调在前面的一些章节中，我们介绍了如何在只有6万张图像的Fashion-MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet，它有超过1,000万的图像和1,000类的物体。然而，我们平常接触到数据集的规模通常在这两者之间。假设我们想从图像中识别出不同种类的椅子，然后将购买链接推荐给用户。一种可能的方法是先找出100种常见的椅子，为每种椅子...
2020-02-25 10:30:13
1634
原创 pytorch-文本情感分类
文本情感分类文本分类是自然语言处理的一个常见任务，它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题：使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析，并有着广泛的应用。同搜索近义词和类比词一样，文本分类也属于词嵌入的下游应用。在本节中，我们将应用预训练的词向量和含多个隐藏层的双向循环神经网络与卷积神经网络，来判断一段不定长的文本序列中包含的是正面还是负面的情绪。后续内...
2020-02-25 10:28:42
6123
9
原创 pytorch-词向量进阶
词嵌入进阶在“Word2Vec的实现”一节中，我们在小规模数据集上训练了一个 Word2Vec 词嵌入模型，并通过词向量的余弦相似度搜索近义词。虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量，并能一定程度上地保存词与词之间的近似关系，但 Word2Vec 模型仍不是完美的，它还可以被进一步地改进：子词嵌入（subword embedding）：FastText 以固定大...
2020-02-23 23:54:46
513
原创 pytorch-词嵌入基础
词嵌入基础我们在“循环神经网络的从零开始实现”一节中使用 one-hot 向量表示单词，虽然它们构造起来很容易，但通常并不是一个好选择。一个主要的原因是，one-hot 词向量无法准确表达不同词之间的相似度，如我们常常使用的余弦相似度。Word2Vec 词嵌入工具的提出正是为了解决上面这个问题，它将每个词表示成一个定长的向量，并通过在语料库上的预训练使得这些向量能较好地表达不同词之间的相似和类...
2020-02-23 23:53:30
525
原创 pytorch-优化算法进阶
11.6 Momentum在 Section 11.4 中，我们提到，目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。对于noisy gradient,我们需要谨慎...
2020-02-23 19:37:50
530
原创 pytorch-梯度下降
梯度下降（Boyd & Vandenberghe, 2004）%matplotlib inlineimport numpy as npimport torchimport timefrom torch import nn, optimimport mathimport syssys.path.append('/home/kesci/input')import d2lzh...
2020-02-23 19:36:41
293
原创 pytorch-优化与深度学习
优化与深度学习优化与估计尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。优化方法目标：训练集损失函数值深度学习目标：测试集损失函数值（泛化性）%matplotlib inlineimport syssys.path.append('/home/kesci/input')import d2lzh1981 as d2lfrom m...
2020-02-22 16:28:01
245
原创 pytorch- 批量归一化
批量归一化（BatchNormalization）对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间。全连接：x=...
2020-02-21 22:49:54
2512
原创 pytorch-modernCNN
深度卷积神经网络（AlexNet）LeNet: 在大的真实数据集上的表现并不尽如⼈意。1.神经网络计算复杂。2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。机器学习的特征提取:手工定义的特征提取函数神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。神经网络发展的限制:数据、硬件AlexNet首次证明了学习到的特征可以超越⼿⼯设计的特征，从...
2020-02-19 12:53:41
298
原创 pytorch-lenet
course contentlenet 模型介绍lenet 网络搭建运用lenet进行图像识别-fashion-mnist数据集Convolutional Neural Networks使用全连接层的局限性：图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。对于大尺寸的输入图像，使用全连接层容易导致模型过大。使用卷积层的优势：卷积层保留输...
2020-02-18 22:37:38
243
原创 pytorch-卷积神经网络基础
卷积神经网络基础本节我们介绍卷积神经网络的基础概念，主要是卷积层和池化层，并解释填充、步幅、输入通道和输出通道的含义。二维卷积层本节介绍的是最常见的二维卷积层，常用于处理图像数据。二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通...
2020-02-18 19:30:47
294
原创 pytorch-transformer
Transformer在之前的章节中，我们已经介绍了主流的神经网络架构如卷积神经网络（CNNs）和循环神经网络（RNNs）。让我们进行一些回顾：CNNs 易于并行化，却不适合捕捉变长序列内的依赖关系。RNNs 适合捕捉长距离变长序列的依赖，但是却难以实现并行化处理序列。为了整合CNN和RNN的优势，[Vaswani et al., 2017] 创新性地使用注意力机制设计了Transfo...
2020-02-18 10:59:54
1632
原创 pytorch-机器翻译
机器翻译和数据集机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。import osos.listdir('/home/kesci/input/')['fraeng6506', 'd2l9528']import syssys.path.a...
2020-02-17 23:16:11
3090
2
原创 pytorch-高级rnn
GRURNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系RNN:Ht=ϕ(XtWxh+Ht−1Whh+bh)H_{t} = ϕ(X_{t}W_{xh} + H_{t-1}W_{hh} + b_{h})Ht=ϕ(XtWxh+Ht−1Whh+bh)GRU:Rt=σ(XtWxr+Ht−1Whr+br)Zt=σ(X...
2020-02-16 13:49:21
445
原创 pytorch-梯度消失、梯度爆炸以及Kaggle房价预测
梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸考虑到环境因素的其他问题Kaggle房价预测梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)...
2020-02-16 13:48:41
557
原创 pytorch-过拟合、欠拟合及其解决方案
过拟合、欠拟合及其解决方案过拟合、欠拟合的概念权重衰减丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛...
2020-02-16 13:47:57
3180
原创 pytorch-循环神经网络
循环神经网络本节介绍循环神经网络，下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量HHH，用HtH_{t}Ht表示HHH在时间步ttt的值。HtH_{t}Ht的计算基于XtX_{t}Xt和Ht−1H_{t-1}Ht−1，可以认为HtH_{t}Ht记录了到当前字符为止的序列信息，利用HtH_{t}H...
2020-02-14 20:17:33
621
原创 pytorch-语言模型
语言模型一段自然语言文本可以看作是一个离散时间序列，给定一个长度为TTT的词的序列w1,w2,…,wTw_1, w_2, \ldots, w_Tw1,w2,…,wT，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：P(w1,w2,…,wT).P(w_1, w_2, \ldots, w_T).P(w1,w2,…,wT).本节我们介绍基于统计的语言模型，主要是nnn元语...
2020-02-13 22:25:27
230
原创 pytorch-文本预处理
文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型读入文本我们用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。import collecti...
2020-02-13 22:22:36
1133
1
原创 pytorch-多层感知机
多层感知机多层感知机的基本知识使用多层感知机图像分类的从零开始的实现使用pytorch的简洁实现多层感知机的基本知识深度学习主要关注多层模型。在这里，我们将以多层感知机（multilayer perceptron，MLP）为例，介绍多层神经网络的概念。隐藏层下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。表达公式具体来说，给定一个小批量样本X∈...
2020-02-12 20:29:18
1302
原创 pytorch- softmax和分类模型
softmax和分类模型内容包含：softmax回归的基本概念如何获取Fashion-MNIST数据集和读取数据softmax回归模型的从零开始实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型使用pytorch重新实现softmax回归模型softmax的基本概念分类问题一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。图像中的4像...
2020-02-12 20:11:14
815
原创 机器学习和模型评价初步
title: ‘NLP-3:机器学习和模型评价初步’date: 2019-11-08 23:14:24mathjax: truecategories:nlp-自然语言处理tags:nlp-自然语言处理文章目录NLP-3:机器学习和模型评价初步KNN(K-nearest neighbors,K-近邻算法)决策树模型(decision tree)决策树如何决定哪一个值或者哪一个特...
2020-02-12 20:10:07
151
原创 pytorch-线性回归
线性回归主要内容包括：线性回归的基本要素线性回归模型从零开始的实现线性回归模型使用pytorch的简洁实现线性回归的基本要素模型为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:price=warea⋅area+wage⋅age+b\mathrm{pr...
2020-02-12 19:33:18
302
原创 leetcode-电话号码的字母组合
给定一个仅包含数字 2-9 的字符串，返回所有它能表示的字母组合。给出数字到字母的映射如下（与电话按键相同）。注意 1 不对应任何字母。示例:输入：“23”输出：[“ad”, “ae”, “af”, “bd”, “be”, “bf”, “cd”, “ce”, “cf”].说明:尽管上面的答案是按字典序排列的，但是你可以任意选择答案输出的顺序。解释:我们可以使用回溯的方法进行解决问...
2020-02-01 10:42:53
257
原创 机器学习实战- 回归（Regression） 概述
文章目录回归（Regression） 概述回归 场景回归 原理1、线性回归1.1、线性回归 须知概念1.1.1、矩阵求逆1.1.2、最小二乘法1.2、线性回归 工作原理1.3、线性回归 开发流程1.4、线性回归 算法特点1.5、线性回归 项目案例1.5.1、线性回归 项目概述1.5.2、线性回归 编写代码1.5.3、线性回归 拟合效果2、局部加权线性回归2.1、局部加权线性回归 工作原理2.2、局...
2020-01-28 21:15:22
2171
原创 task2数据清洗
任务2数据清洗Task02：数据清洗（2天）https://github.com/datawhalechina/team-learning/blob/master/数据竞赛（房租预测）/2_数据清洗.ipynb每一步都要认真完成，附上代码，最终效果截图缺失值分析及处理缺失值出现的原因分析采取合适的方式对缺失值进行填充异常值分析及处理根据测试集数据的分布处理训练集的数据分布使...
2020-01-09 16:45:34
304
原创 task1-房价预测
1. 赛题分析比赛要求参赛选手根据给定的数据集，建立模型，预测房屋租金。数据集中的数据类别包括租赁房源、小区、二手房、配套、新房、土地、人口、客户、真实租金等。这是典型的回归预测。预测指标回归结果评价标准采用R-SquareR2（R-Square）的公式为：残差平方和：SSres=∑(yi−y^i)2SS_{res}=\sum\left(y_{i}-\hat{y}_{i}\rig...
2020-01-07 21:30:46
347
原创 datawhale(竞赛练习)-“2019未来杯高校AI挑战赛 > 城市-房产租金预测”
“2019未来杯高校AI挑战赛 > 城市-房产租金预测”个人主页包含代码赛题说明线上比赛要求参赛选手根据给定的数据集，建立模型，预测房屋租金。数据集中的数据类别包括租赁房源、小区、二手房、配套、新房、土地、人口、客户、真实租金等。平台提供的数据包括训练集、预测试集(Test A)、正式测试集(Test B)，详见数据集说明。参赛选手需要将预测的结果按照测试集ID顺序输出，以便平台...
2020-01-07 21:26:00
617
原创 随机森林 random forest
随机森林 random forest数据集地址概述：随机森林是指多棵树对样本进行训练并且预测的一种分类器，决策树相当于大师，通过自己在数据集中学习到的只是用于新数据的分类，三个臭皮匠，顶个诸葛亮原理：数据的随机化：使得随机森林中的决策树更普遍化一点，适合更多的场景。（有放回的准确率在：70% 以上， 无放回的准确率在：60% 以上）采取有放回的抽样方式 构造子数据集，保证不同...
2020-01-05 13:06:30
452
原创 Adaboost算法
Adaboost算法集成学习概述集成学习算法定义集成学习(Ensemble learning)就是讲若干个弱分类器通过一定策略组合后产生一个强分类器。弱分类器(weak Classifier)指的就是那些分类准确率只比随机猜测好一点的分类器。而强分类器(strong Classifier)的分类准确率会高很多，这里的弱和强是相对的，弱分类器也叫做基分类器分类：baggingb...
2020-01-03 16:26:14
189
数值分析实践和资料，实践使用python3实现
2019-12-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人