- 博客(6)
- 收藏
- 关注
RSS订阅原创 神经网络Xavier随机初始化
该方法来源于2010年的论文Understanding the difficulty of training deep feedforward neural network 该方法的思想是：为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等 具体的推导过程见如下链接： 深度学习——Xavier初始化方法 深度学习中Xavier初始化 推导所得的结果就是使该层中权重参数的每个元素都随机采样于...
2020-02-18 16:32:52
720
3
原创 RNN梯度裁剪
RNN梯度裁剪 最近抗疫在家蹲监狱，恰巧参加DataWhale组织的组队学习，这次的内容是深度学习，看到RNN的讲解这里，有一个“梯度裁剪”的方法不是很理解，故百度一波，整理一下，首先放上讲解中的定义（也是我百度出来的第一篇博客里的内容）： 循环神经网络中较容易出现梯度衰减或梯度爆炸，这会导致网络几乎无法训练。裁剪梯度（clip gradient）是一种应对梯度爆炸的方法。假设我们把所有模...
2020-02-13 16:13:54
1937
原创 Datawhale组队学习（四）
模型选择 以lightGBM为例 from __future__ import print_function import lightgbm as lgb import sklearn import numpy import hyperopt from hyperopt import hp, fmin, tpe, STATUS_OK, Trials import colorama import n...
2020-01-15 15:25:42
161
原创 Datawhale组队学习（三）
Datawhale房租预测实战（特征工程） 个人认为特征工程就是首先：根据一些业务常识或数据常识，从几十个特征中删掉一部分没有用的特征，如此例中的“ID”（只是每个样本的标识符），“city”（所有样本的city值都是上海），“tradeTime”（因为数据中的tradeTime全部是2018年，将月和日分割成单独的新特征后，原来的tradeTime就没有用了），所以我认为删除特征的数据常识就...
2020-01-13 09:44:16
218
原创 Datawhale组队学习（二）
Datawhale房租预测实战学习笔记（数据清洗） 缺失值处理 缺失值的处理方法这篇文章总结得比较全面：缺失值处理方法综述 总的来说可以分为三大方法：（1）删除；（2）填补；（3）不处理。对于这种多特征的回归模型，我认为不处理缺失值会对往模型里输入数据造成问题，故应采取前两种方法。 根据上一次的分析，51个特征列中，pv和uv两列含有18个null值，初步猜想这18个null值出现在相同样...
2020-01-09 20:24:20
196
原创 Datawhale组队学习（一）
Datawhale房租预测实战学习笔记（一） 认识数据 本次实战学习的赛题是城市-房产租金预测，从题目就可大致看出该题目属于回归问题，需要根据训练集给出的特征数据，选择合适的特征参数建立回归模型并验证预测精度，该比赛采用的模型评估公式（即cost function)为： score=1−∑i=1M(yi−y^)2(yi−yˉ)2score=1-\sum_{i=1}^M\frac{(y_i-\h...
2020-01-07 19:58:23
376
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人