GoWeiXH的小天地

损失函数期望损失大数定律中心极限定理经验损失结构损失损失函数种类回归中的损失函数平方损失绝对损失Huber 损失Log-Cosh 损失分类中的损失函数0-1 损失Hinge 损失对数损失

深度学习 - 处理序列的神经网络循环、长短时记忆、递归循环神经网络 RNN结构 and 计算过程反向传播梯度问题梯度消失 与 梯度爆炸激活函数长短时记忆 LSTM结构介绍公式推导递归神经网络 RNN介绍

机器学习深度学习优化算法采样算法其他

有偏估计 and 无偏估计方差分母 n-1 - 详细证明均值 - 无偏估计方差 - 有偏估计方差 - 转换成无偏估计

今天开始更新学习 FaceBook 的深度学习框架 PyTorch ！PyTorch 底层优化的非常好，而且与 Numpy 无缝对接，用起来很清爽，不像 TensorFlow 那么“反 Python”~先看了 Deep Learning with PyTorch: A 60 Minute Blitz ，题目说是“一小时搞定”，但就我这个上了岁数的人来讲，花了一晚上才把一整套流程跑了一遍。。。...

BGD (Batch Gradient Descent) 批量梯度下降，SGD (Stochastic Gradient Descent) 随机梯度下降，MBGD (Mini-Batch Gradient Descent) 小批量梯度下降。

特征工程 - 数据分析 - 峰度 and 偏度偏度峰度偏度偏度（Skewness）用来描述数据分布的对称性。当偏度 <0 时，称为负偏，数据出现左侧长尾；当偏度>0时，称为正偏，数据出现右侧长尾。正态分布是对称的，其偏度为 0。当数据偏度为 0 时，表示数据相对均匀的分布在平均值两侧，但不一定是正态分布。当偏度绝对值过大时，长尾的一侧出现极端值的可能性较高。下图...

优化算法Momentum 动量梯度下降缓解山谷与鞍点的影响MomentumNesterov

优化算法梯度下降自适应学习率AdagradRMSpropAdam

优化算法 - 牛顿法 and 拟牛顿法预备知识无约束优化问题Hesse 矩阵泰勒展开式牛顿法形象化解释公式化解释算法过程拟牛顿法拟牛顿条件DFP (Davidon-Fletcher-Powell)算法推导算法过程BFGS (Broyden-Fletcher-Goldfarb-Shanno)总结

深度学习 - 卷积神经网络 CNN层级结构数据输入层 Input Layer卷积计算层 Convolution Layer池化层 Pooling Layer全连接层 Full Connection Layer输出层 Output Layer

特征工程数值型归一化函数映射离散化类别型One-Hot编码（哑变量）序号编码二进制编码聚类处理统计决策树路径编码改变粒度时间型统计特征文本型词袋模型N-GramTF-IDF组合特征特征两两相互组合 + 选则决策树路径编码特征选择过滤型包裹型嵌入型

模型调优方法参数调整效果优化过拟合欠拟合权重分析Bad-Case 分析

邻近性的度量距离、相似度简单匹配系数Jaccard 系数广义 Jaccard 系数距离余弦相似度皮尔森系数Bregman 散度选择正确的度量指标

模型调优经历背景遇到问题思路解决办法

数据划分 Hold-Out、K-Fold CV、Bootstrap引入Hold-OutK-Fold CVBootstrap

梯度下降（导数、方向导数 and 梯度斜率、导数 and 梯度斜率、导数偏导数方向导数梯度梯度下降反向传播

L1、L2 正则项详解（解空间、先验分布）引入直观看解空间先验分布最大似然估计最大后验估计

深度学习 - 总述 and 训练技巧发展历史从感知器到神经网络深度学习训练技巧参数初始化DropoutBatchnormalization（BN）BN 的优势

激活函数函数、导数 and 优劣SigmoidTanh (双曲正切)ReLU (Rectified Linear Unit，修正线性单元)LReLU (Leaky ReLU)ELU（指数线性单元）Maxout梯度消失与梯度饱和梯度消失梯度饱和反向传播平方差损失 and 交叉熵损失平方差损失交叉熵损失

自然语言处理 - 要代替 RNN、LSTM 的 TransformerTransformer 结构计算过程Seq2Seq 模型，通常来讲里面是由 RNN、GRU、LSTM 的 cell 来组建的，但最近 Google 推出了一个新的架构 Transformer. 这个模型解决了 Seq2Seq 模型依赖之前结果无法并行的问题，而且最终的效果也是非常棒。原文：图解 Transformer已经这...