- 博客(43)
- 收藏
- 关注
RSS订阅
原创 深度学习算法与编程 (暂停更新)
affine/linear(仿射/线性)变换函数详解及全连接层反向传播的梯度求导https://blog.youkuaiyun.com/oBrightLamp/article/details/84333111
2018-12-18 16:08:42
14597
2
原创 生成对抗网络 GAN 的数学原理
1. 极大似然估计假设一个抽奖盒子里有45个球, 其编号是 1~9 共9个数字. 每个编号的球拥有的数量是:编号123456789数量246897531占比0.0440.0880.1330.1780.2000.1560.1110.0660.022...
2019-01-20 23:08:11
5606
10
原创 Python 实现 TensorFlow 和 PyTorch 验证卷积 convolution 函数矩阵化计算及反向传播
摘要本文使用纯 Python 实现 TensorFlow 和 PyTorch 验证卷积 convolution 函数矩阵化计算及反向传播.相关原理和详细解释, 请参考文章 :卷积 convolution 函数的矩阵化计算方法及其梯度的反向传播系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. ...
2019-01-05 20:17:27
1114
原创 卷积convolution函数的矩阵化计算方法及其梯度的反向传播
摘要本文给出卷积 convolution 函数的矩阵化计算方法, 并求解其在反向传播中的梯度相关配套代码, 请参考文章 :Python 实现 TensorFlow 和 PyTorch 验证卷积 convolution 函数矩阵化计算及反向传播Affine 变换的定义和梯度, 请参考文章 :affine/linear(仿射/线性)变换函数详解及全连接层反向传播的梯度求导系列文章索引 :...
2019-01-05 20:16:40
1630
1
原创 TensorFlow和PyTorch对比理解卷积和反向卷积或转置卷积(Transpose Convolution)
摘要本文主要介绍反卷积或转置卷积, 并使用 TensorFlow 和 PyTorch 验证其计算方法.相关系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. 应用场景转置卷积 (Transpose Convolution ), 有时候也称为反卷积 (Deconvolution), 是全卷积神经网...
2019-01-03 17:45:12
2347
1
原创 Python和PyTorch对比实现批标准化 Batch Normalization 函数在测试或推理过程中的算法
摘要本文使用Python和PyTorch对比实现批标准化 Batch Normalization 函数在测试或推理过程中的算法.相关原理及详细解释, 请参考文章 :Batch Normalization的测试或推理过程及样本参数更新方法.系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. Ba...
2018-12-30 15:45:48
1266
原创 Batch Normalization的测试或推理过程及样本参数更新方法
摘要本文探讨 Batch Normalization 在测试或推断时使用的算法及其原理.相关配套代码, 请参考文章 :Python和PyTorch对比实现批标准化 Batch Normalization 函数在测试或推理过程中的算法.系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文Batch N...
2018-12-30 15:44:28
2539
原创 L2正则化Regularization详解及反向传播的梯度求导
摘要本文解释L2正则化Regularization, 求解其在反向传播中的梯度, 并使用TensorFlow和PyTorch验证.相关系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. L2 正则原理若某一个神经网络存在一个参数矩阵 Wm×nW_{m\times n}Wm×n, 该网络在训练时...
2018-12-27 16:48:28
7457
2
原创 通过函数图像介绍信息熵的概念
摘要本文通过函数图像介绍信息熵的概念.相关系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文信息熵：信息的基本作用就是消除人们对事物的不确定性.信息熵是不确定程度的度量, 一个事件的不确定程度越大, 则信息熵越大.香农 (Shannon) 提出信息熵的定义如下 :entropy=−∑i=1npi...
2018-12-26 21:25:13
2321
原创 纯Python和scikit-learn对比实现PCA特征降维
摘要本文使用纯 Python 和 scikit-learn 对比实现PCA降维方法.相关原理和详细解释, 请参考: :特征工程PCA降维方法的最大方差理论详解文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. PCA 类文件目录 : vanilla_nn/pca.pyimport numpy ...
2018-12-25 23:50:37
640
原创 特征工程PCA降维方法的最大方差理论详解
摘要本文给出 PCA最大方差理论求解方法.相关配套代码, 请参考文章 :纯Python和scikit-learn对比实现PCA特征降维系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. 降维方法对于给定的一组数据点, 以矩阵 Xm×nX_{m \times n}Xm×n 表示 :X=(X...
2018-12-25 23:49:43
884
原创 纯Python和PyTorch对比实现SGD, Momentum, RMSprop, Adam梯度下降算法
摘要本文使用纯 Python 和 PyTorch 对比实现SGD, Momentum, RMSprop, Adam梯度下降算法.相关原理和详细解释, 请参考: :常用梯度下降算法SGD, Momentum, RMSprop, Adam详解文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. 算法类...
2018-12-22 22:27:18
4108
原创 常用梯度下降算法SGD, Momentum, RMSprop, Adam详解
摘要本文给出常用梯度下降算法的定义公式, 并介绍其使用方法.相关配套代码, 请参考文章 :纯Python和PyTorch对比实现SGD, Momentum, RMSprop, Adam梯度下降算法系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. SGD随机梯度下降 (Stochastic ...
2018-12-22 22:25:57
3818
原创 内容提要
本系列不适合首次接触深度学习读者, 但非常适合作为第二本书.建议深度学习的初学者先从其他资料开始学习基本概念, 本系列亦有一篇文章专门推荐入门的学习资料.限于篇幅, 大部分学习资料都没有详细的公式推导过程和配套的代码实现, 讲述相关的基础概念就占据了大量的空间.有注重于基础概念的, 也有注重于实战项目, 都很好.本系列的目的是, 填补基础概念到实战项目之间的空白.作者发现, 注重这一块知...
2018-12-21 14:54:31
642
1
原创 均方差损失函数MSELoss详解及反向传播中的梯度求导
摘要本文给出均方差损失函数 MSELoss 的定义并求解其在反向传播中的梯度.相关系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文均方差损失函数 MSELoss 定义简洁, 梯度求导简单, 应用广泛.1. 梯度设向量 s 作为预测值, 向量 y 为实际值, 由 MSELoss 函数计算得出误差值...
2018-12-20 20:21:36
21481
1
原创 纯Python和PyTorch对比实现门控循环单元GRU及反向传播
摘要本文使用纯 Python 和 PyTorch 对比实现门控循环单元GRU及其反向传播.相关配套代码, 请参考文章 :门控循环单元GRUCell详解及反向传播的梯度求导文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. GRUCell 类文件目录 : vanilla_nn/grucell.py...
2018-12-19 22:46:45
2143
原创 门控循环单元GRUCell详解及反向传播的梯度求导
摘要本文给出门控循环单元GRUCell的定义公式, 并求解其在反向传播中的梯度.给出的相关公式是完整的, 编程导向的, 可以直接用于代码实现, 已通过 Python 验证.相关配套代码, 请参考文章 :纯 Python 和 PyTorch 对比实现门控循环单元 GRU 及反向传播Affine 变换的定义和梯度, 请参考文章 :affine/linear(仿射/线性)变换函数详解及全连...
2018-12-19 22:44:56
3125
原创 纯Python和PyTorch对比实现循环神经网络LSTM及反向传播
摘要本文使用纯 Python 和 PyTorch 对比实现循环神经网络LSTM及其反向传播.相关配套代码, 请参考文章 :长短期记忆网络LSTMCell单元详解及反向传播的梯度求导文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. LSTMCell 类文件目录 : vanilla_nn/lstm...
2018-12-18 16:44:45
1863
原创 长短期记忆网络LSTMCell单元详解及反向传播的梯度求导
摘要本文给出长短期记忆网络LSTMCell单元的定义公式, 并求解其在反向传播中的梯度.求导过程比较长, 涉及的变量很多, 但求导过程并不难, 只要细心即可.给出的相关公式是完整的, 编程导向的, 可以直接用于代码实现, 已通过 Python 验证.相关配套代码, 请参考文章 :纯 Python 和 PyTorch 对比实现循环神经网络 LSTM 及反向传播Affine 变换的定义和...
2018-12-18 16:17:47
1680
原创 纯Python和PyTorch对比实现循环神经网络RNNCell及反向传播
摘要本文使用纯 Python 和 PyTorch 对比实现循环神经网络RNNCell单元及其反向传播相关原理和详细解释, 请参考:循环神经网络RNNCell单元详解及反向传播的梯度求导https://blog.youkuaiyun.com/oBrightLamp/article/details/85015325正文import torchimport numpy as npnp.rando...
2018-12-15 16:31:46
1358
原创 纯Python和PyTorch对比实现循环神经网络RNN及反向传播
摘要本文使用纯 Python 和 PyTorch 对比实现循环神经网络RNN及其反向传播相关原理和详细解释, 请参考:循环神经网络RNNCell单元详解及反向传播的梯度求导https://blog.youkuaiyun.com/oBrightLamp/article/details/85015325正文import torchimport numpy as npclass RNNCell...
2018-12-15 16:30:52
852
原创 循环神经网络RNNCell单元详解及反向传播的梯度求导
摘要本文给出循环神经网络RNNCell单元的定义公式, 并求解其在反向传播中的梯度.本文给出的相关公式是编程导向的, 完整的, 可以直接用于代码实现, 已通过 Python 验证.相关配套代码, 请参考:Affine 变换的定义和梯度, 请参考:正文1. RNNCell 定义1.1 一次循环考虑输入一个 3 阶张量 XijkX_{ijk}Xijk, 该张量可以表示为 iii 个...
2018-12-15 16:25:33
1321
原创 PyTorch Kaggle 快速上手(杂草幼苗图片识别)
说明原文是我在 www.kaggle.com 做的一个示例.地址: https://www.kaggle.com/brightlamp/pytorch-kaggle-quick-qtart-guide-on-plantseedlings搬运到这里, 顺便做一点基础汉化.正文首先, 需要打开 Kaggle 的 GPU 实例.导入标准包.# First, Please turn on...
2018-12-10 22:51:05
4256
1
原创 池化层MaxPool函数详解及反向传播的公式推导
相关配套代码, 请参考 :Python和PyTorch对比实现池化层MaxPool函数及反向传播https://blog.youkuaiyun.com/oBrightLamp/article/details/84635308正文池化是一种尺寸缩小操作, 可以将大尺寸的图片缩小, 集约特征.1. 池化层 MaxPool 函数的定义本文约定矩阵元素的脚标从 0 开始.当 X 为 m x n 矩阵,...
2018-11-29 16:29:16
12323
原创 Python和PyTorch对比实现池化层MaxPool函数及反向传播
相关原理和详细解释, 请参考 :池化层MaxPool函数详解及反向传播的公式推导正文import torchimport numpy as npclass MaxPool2D: def __init__(self, kernel_size=(2, 2), stride=2): self.stride = stride self.kernel...
2018-11-29 16:28:05
9107
原创 卷积convolution函数详解及反向传播中的梯度求导
http://cs231n.github.io/convolutional-networks/https://github.com/vdumoulin/conv_arithmetic
2018-11-28 17:56:53
4659
原创 Python和PyTorch对比实现卷积convolution函数及反向传播
相关原理及详细解释, 请参考 :卷积convolution函数详解及反向传播中的梯度求导正文import torchimport numpy as npclass Conv2d: def __init__(self, stride=1): self.weight = None self.bias = None self.st...
2018-11-28 17:56:02
2516
1
原创 Python和PyTorch对比实现批标准化Batch Normalization函数及反向传播
相关原理及详细解释, 请参考 :BrightLamp. Batch Normalization函数详解及反向传播中的梯度求导[EB/OL]. https://blog.youkuaiyun.com/oBrightLamp/article/details/84332455.正文import torchimport numpy as npclass BatchNorm1d: def __...
2018-11-26 22:34:21
1856
原创 Python和PyTorch对比实现affine/linear(仿射/线性)变换函数及全连接层的反向传播
相关原理及详细解释, 请参考 :BrightLamp. affine/linear(仿射/线性)变换函数详解及全连接层反向传播的梯度求导[EB/OL]. https://blog.youkuaiyun.com/oBrightLamp/article/details/84333111.正文import torchimport numpy as npclass Affine: def _...
2018-11-24 22:04:58
4003
原创 affine/linear(仿射/线性)变换函数详解及全连接层反向传播的梯度求导
Affine 仿射层, 又称 Linear 线性变换层常用于神经网络结构中的推断部分.
2018-11-24 21:58:34
8741
3
原创 Batch Normalization函数详解及反向传播中的梯度求导
作者论文公式：https://arxiv.org/abs/1502.03167批标准化 (Batch Normalization) 的思想来自于传统的机器学习, 主要为了处理数据取值范围相差过大的问题.比如, 正常成年人每升血液中所含血细胞的数量：项目数量 (个)红细胞计数 RBC3.5×1012~5.5×1012个白细胞计数 WBC5.0×109~10.0...
2018-11-22 00:29:39
1926
1
原创 Python和PyTorch对比实现ReLU函数及反向传播
相关原理及详细解释, 请参考 :BrightLamp. ReLU函数详解及反向传播中的梯度求导[EB/OL]. https://blog.youkuaiyun.com/oBrightLamp/article/details/84326978.正文import torchimport numpy as npclass Relu: """ http://cs231n.github...
2018-11-21 20:36:38
4471
原创 ReLU函数详解及反向传播中的梯度求导
1. 定义ReLU函数, 即线性整流函数(Rectified Linear Unit), 是神经网络结构中常用的非线性激活函数.其定义如下:ReLU(x)={0,x⩽0x,x>0ReLU(x) = \left\{ \begin{array}{rr} 0, &a
2018-11-21 20:33:18
47497
原创 Python和PyTorch对比实现dropout函数及反向传播
相关原理及详细解释, 请参考 :BrightLamp. dropout函数详解及反向传播中的梯度求导[EB/OL]. https://blog.youkuaiyun.com/oBrightLamp/article/details/84105097.正文import torchimport numpy as npclass Dropout: """ http://arxiv.or...
2018-11-21 17:02:39
2680
1
原创 dropout函数详解及反向传播中的梯度求导
svmGamma公式展示 Γ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\foralln\in\mathbb NΓ(n)=(n−1)!∀n∈N 是通过 Euler integralΓ(z)=∫0∞tz−1e−tdt .\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}d
2018-11-21 16:56:17
16911
16
原创 自学深度学习之计算机视觉的入门资料推荐
1 .入门第一本: Python神经网络编程2 .入门第二本: 深度学习入门 基于Python的理论与实现3 .入门第三本: CS231n 斯坦福李飞飞视觉识别阅读指导这三个资料都要到手, 要一起使用.按1~3的顺序快速通读一遍, 不要求一遍读懂, 有个印象, 知道相关知识点在哪里就可以.因为这三个资料各有侧重点, 学到某个知识点, 总有一个资料讲的比另一个更详细, 更通俗.其...
2018-11-15 00:33:01
1079
原创 Python和PyTorch对比实现多标签softmax + cross-entropy交叉熵损失及反向传播
相关关于 softmax + cross-entropy 的详细介绍, 请参考 :BrightLamp. 多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导[EB/OL]. https://blog.youkuaiyun.com/oBrightLamp/article/details/84069835.正文变量有仔细命名, 注释我就不写了 ^ _ ^imp...
2018-11-14 21:18:14
8027
原创 多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导
相关有关 softmax 的详细介绍, 请参考 :BrightLamp. softmax函数详解及反向传播中的梯度求导[EB/OL]. https://blog.youkuaiyun.com/oBrightLamp/article/details/83959185.有关 cross-entropy 的详细介绍, 请参考 :BrightLamp. 通过案例详解cross-entropy交叉熵损失函数[E...
2018-11-14 18:58:04
4476
原创 softmax函数详解及误差反向传播的梯度求导
1. softmax函数的定义及实现softmax函数常用于多分类问题的输出层.定义如下:si=exi∑t=1kext∑t=1kext=ex1+ex2+ex3+⋯+exki=1,2,3,⋯ ,ks_{i} = \frac{e^{x_{i}}}{ \sum_{t = 1}^{k}e^{x_{t
2018-11-14 15:51:38
5280
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人