BrightLamp的博客

交叉熵函数的定义:$$$$

摘要本文解释L2正则化Regularization, 求解其在反向传播中的梯度, 并使用TensorFlow和PyTorch验证.相关系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. L2 正则原理若某一个神经网络存在一个参数矩阵 Wm×nW_{m\times n}Wm×n​, 该网络在训练时...

摘要本文给出常用梯度下降算法的定义公式, 并介绍其使用方法.相关配套代码, 请参考文章 :纯Python和PyTorch对比实现SGD, Momentum, RMSprop, Adam梯度下降算法系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. SGD随机梯度下降 (Stochastic ...

摘要本文给出长短期记忆网络LSTMCell单元的定义公式, 并求解其在反向传播中的梯度.求导过程比较长, 涉及的变量很多, 但求导过程并不难, 只要细心即可.给出的相关公式是完整的, 编程导向的, 可以直接用于代码实现, 已通过 Python 验证.相关配套代码, 请参考文章 :纯 Python 和 PyTorch 对比实现循环神经网络 LSTM 及反向传播Affine 变换的定义和...

摘要本文主要介绍反卷积或转置卷积, 并使用 TensorFlow 和 PyTorch 验证其计算方法.相关系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. 应用场景转置卷积 (Transpose Convolution ), 有时候也称为反卷积 (Deconvolution), 是全卷积神经网...

摘要本文探讨 Batch Normalization 在测试或推断时使用的算法及其原理.相关配套代码, 请参考文章 :Python和PyTorch对比实现批标准化 Batch Normalization 函数在测试或推理过程中的算法.系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文Batch N...

摘要本文给出 PCA最大方差理论求解方法.相关配套代码, 请参考文章 :纯Python和scikit-learn对比实现PCA特征降维系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文1. 降维方法对于给定的一组数据点, 以矩阵 Xm×nX_{m \times n}Xm×n​ 表示 :X=(X...

摘要本文给出卷积 convolution 函数的矩阵化计算方法, 并求解其在反向传播中的梯度相关配套代码, 请参考文章 :Python 实现 TensorFlow 和 PyTorch 验证卷积 convolution 函数矩阵化计算及反向传播Affine 变换的定义和梯度, 请参考文章 :affine/linear(仿射/线性)变换函数详解及全连接层反向传播的梯度求导系列文章索引 :...

本系列不适合首次接触深度学习读者, 但非常适合作为第二本书.建议深度学习的初学者先从其他资料开始学习基本概念, 本系列亦有一篇文章专门推荐入门的学习资料.限于篇幅, 大部分学习资料都没有详细的公式推导过程和配套的代码实现, 讲述相关的基础概念就占据了大量的空间.有注重于基础概念的, 也有注重于实战项目, 都很好.本系列的目的是, 填补基础概念到实战项目之间的空白.作者发现, 注重这一块知...

摘要本文通过函数图像介绍信息熵的概念.相关系列文章索引 :https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981正文信息熵：信息的基本作用就是消除人们对事物的不确定性.信息熵是不确定程度的度量, 一个事件的不确定程度越大, 则信息熵越大.香农 (Shannon) 提出信息熵的定义如下 :entropy=−∑i=1npi...

摘要本文给出循环神经网络RNNCell单元的定义公式, 并求解其在反向传播中的梯度.本文给出的相关公式是编程导向的, 完整的, 可以直接用于代码实现, 已通过 Python 验证.相关配套代码, 请参考:Affine 变换的定义和梯度, 请参考:正文1. RNNCell 定义1.1 一次循环考虑输入一个 3 阶张量 XijkX_{ijk}Xijk​, 该张量可以表示为 iii 个...

1. softmax函数的定义及实现softmax函数常用于多分类问题的输出层.定义如下:si=exi∑t=1kext∑t=1kext=ex1+ex2+ex3+⋯+exki=1,2,3,⋯ ,ks_{i} = \frac{e^{x_{i}}}{ \sum_{t = 1}^{k}e^{x_{t

相关有关 softmax 的详细介绍, 请参考 :BrightLamp. softmax函数详解及反向传播中的梯度求导[EB/OL]. https://blog.youkuaiyun.com/oBrightLamp/article/details/83959185.有关 cross-entropy 的详细介绍, 请参考 :BrightLamp. 通过案例详解cross-entropy交叉熵损失函数[E...

1 .入门第一本: Python神经网络编程2 .入门第二本: 深度学习入门 基于Python的理论与实现3 .入门第三本: CS231n 斯坦福李飞飞视觉识别阅读指导这三个资料都要到手, 要一起使用.按1~3的顺序快速通读一遍, 不要求一遍读懂, 有个印象, 知道相关知识点在哪里就可以.因为这三个资料各有侧重点, 学到某个知识点, 总有一个资料讲的比另一个更详细, 更通俗.其...

svmGamma公式展示 Γ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\foralln\in\mathbb NΓ(n)=(n−1)!∀n∈N 是通过 Euler integralΓ(z)=∫0∞tz−1e−tdt .\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}d

1. 定义ReLU函数, 即线性整流函数(Rectified Linear Unit), 是神经网络结构中常用的非线性激活函数.其定义如下:ReLU(x)={0,x⩽0x,x>0ReLU(x) = \left\{ \begin{array}{rr} 0, &a

作者论文公式：https://arxiv.org/abs/1502.03167批标准化 (Batch Normalization) 的思想来自于传统的机器学习, 主要为了处理数据取值范围相差过大的问题.比如, 正常成年人每升血液中所含血细胞的数量：项目数量 (个)红细胞计数 RBC3.5×1012~5.5×1012个白细胞计数 WBC5.0×109~10.0...

Affine 仿射层, 又称 Linear 线性变换层常用于神经网络结构中的推断部分.

相关配套代码, 请参考 :Python和PyTorch对比实现池化层MaxPool函数及反向传播https://blog.youkuaiyun.com/oBrightLamp/article/details/84635308正文池化是一种尺寸缩小操作, 可以将大尺寸的图片缩小, 集约特征.1. 池化层 MaxPool 函数的定义本文约定矩阵元素的脚标从 0 开始.当 X 为 m x n 矩阵,...

http://cs231n.github.io/convolutional-networks/https://github.com/vdumoulin/conv_arithmetic

摘要本文给出门控循环单元GRUCell的定义公式, 并求解其在反向传播中的梯度.给出的相关公式是完整的, 编程导向的, 可以直接用于代码实现, 已通过 Python 验证.相关配套代码, 请参考文章 :纯 Python 和 PyTorch 对比实现门控循环单元 GRU 及反向传播Affine 变换的定义和梯度, 请参考文章 :affine/linear(仿射/线性)变换函数详解及全连...

1. 极大似然估计假设一个抽奖盒子里有45个球, 其编号是 1~9 共9个数字. 每个编号的球拥有的数量是:编号123456789数量246897531占比0.0440.0880.1330.1780.2000.1560.1110.0660.022...