<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[BrightLamp的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/oBrightLamp</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; oBrightLamp]]></copyright><item><title><![CDATA[生成对抗网络 GAN 的数学原理]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/86553074</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/86553074</guid><author>oBrightLamp</author><pubDate>Sun, 20 Jan 2019 23:08:11 +0800</pubDate><description><![CDATA[1. 极大似然估计
假设一个抽奖盒子里有45个球, 其编号是 1~9 共9个数字. 每个编号的球拥有的数量是:




编号
1
2
3
4
5
6
7
8
9




数量
2
4
6
8
9
7
5
3
1


占比
0.044
0.088
0.133
0.178
0.200
0.156
0.111
0.066
0.022



...]]></description><category></category></item><item><title><![CDATA[Python 实现 TensorFlow 和 PyTorch 验证卷积 convolution 函数矩阵化计算及反向传播]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85870813</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85870813</guid><author>oBrightLamp</author><pubDate>Sat, 05 Jan 2019 20:17:27 +0800</pubDate><description><![CDATA[摘要
本文使用纯 Python 实现 TensorFlow 和 PyTorch 验证卷积 convolution 函数矩阵化计算及反向传播.
相关
原理和详细解释, 请参考文章 :
卷积 convolution 函数的矩阵化计算方法及其梯度的反向传播
系列文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981
正文
1. ...]]></description><category></category></item><item><title><![CDATA[卷积convolution函数的矩阵化计算方法及其梯度的反向传播]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85870773</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85870773</guid><author>oBrightLamp</author><pubDate>Sat, 05 Jan 2019 20:16:40 +0800</pubDate><description><![CDATA[摘要
本文给出卷积 convolution 函数的矩阵化计算方法, 并求解其在反向传播中的梯度
相关
配套代码, 请参考文章 :
Python 实现 TensorFlow 和 PyTorch 验证卷积 convolution 函数矩阵化计算及反向传播
Affine 变换的定义和梯度, 请参考文章 :
affine/linear(仿射/线性)变换函数详解及全连接层反向传播的梯度求导
系列文章索引 :...]]></description><category></category></item><item><title><![CDATA[TensorFlow和PyTorch对比理解卷积和反向卷积或转置卷积(Transpose Convolution)]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85708124</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85708124</guid><author>oBrightLamp</author><pubDate>Thu, 03 Jan 2019 17:45:12 +0800</pubDate><description><![CDATA[摘要
本文主要介绍反卷积或转置卷积, 并使用 TensorFlow 和 PyTorch 验证其计算方法.
相关
系列文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981
正文
1. 应用场景
转置卷积 (Transpose Convolution ), 有时候也称为反卷积 (Deconvolution), 是全卷积神经网...]]></description><category></category></item><item><title><![CDATA[Python和PyTorch对比实现批标准化 Batch Normalization 函数在测试或推理过程中的算法]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85391167</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85391167</guid><author>oBrightLamp</author><pubDate>Sun, 30 Dec 2018 15:45:48 +0800</pubDate><description><![CDATA[摘要
本文使用Python和PyTorch对比实现批标准化 Batch Normalization 函数在测试或推理过程中的算法.
相关
原理及详细解释, 请参考文章 :
Batch Normalization的测试或推理过程及样本参数更新方法.
系列文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981
正文
1. Ba...]]></description><category></category></item><item><title><![CDATA[Batch Normalization的测试或推理过程及样本参数更新方法]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85391056</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85391056</guid><author>oBrightLamp</author><pubDate>Sun, 30 Dec 2018 15:44:28 +0800</pubDate><description><![CDATA[摘要
本文探讨 Batch Normalization 在测试或推断时使用的算法及其原理.
相关
配套代码, 请参考文章 :
Python和PyTorch对比实现批标准化 Batch Normalization 函数在测试或推理过程中的算法.
系列文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981
正文
Batch N...]]></description><category></category></item><item><title><![CDATA[L2正则化Regularization详解及反向传播的梯度求导]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85290929</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85290929</guid><author>oBrightLamp</author><pubDate>Thu, 27 Dec 2018 16:48:28 +0800</pubDate><description><![CDATA[摘要
本文解释L2正则化Regularization, 求解其在反向传播中的梯度, 并使用TensorFlow和PyTorch验证.
相关
系列文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981
正文
1. L2 正则原理
若某一个神经网络存在一个参数矩阵 Wm×nW_{m\times n}Wm×n​, 该网络在训练时...]]></description><category></category></item><item><title><![CDATA[通过函数图像介绍信息熵的概念]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85269091</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85269091</guid><author>oBrightLamp</author><pubDate>Wed, 26 Dec 2018 21:25:13 +0800</pubDate><description><![CDATA[摘要
本文通过函数图像介绍信息熵的概念.
相关
系列文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981
正文
信息熵：信息的基本作用就是消除人们对事物的不确定性.
信息熵是不确定程度的度量, 一个事件的不确定程度越大, 则信息熵越大.
香农 (Shannon) 提出信息熵的定义如下 :
entropy=−∑i=1npi...]]></description><category></category></item><item><title><![CDATA[纯Python和scikit-learn对比实现PCA特征降维]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85255898</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85255898</guid><author>oBrightLamp</author><pubDate>Tue, 25 Dec 2018 23:50:37 +0800</pubDate><description><![CDATA[摘要
本文使用纯 Python 和 scikit-learn 对比实现PCA降维方法.
相关
原理和详细解释, 请参考: :
特征工程PCA降维方法的最大方差理论详解
文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981
正文
1. PCA 类
文件目录 : vanilla_nn/pca.py
import numpy ...]]></description><category></category></item><item><title><![CDATA[特征工程PCA降维方法的最大方差理论详解]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85255895</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85255895</guid><author>oBrightLamp</author><pubDate>Tue, 25 Dec 2018 23:49:43 +0800</pubDate><description><![CDATA[摘要
本文给出 PCA最大方差理论求解方法.
相关
配套代码, 请参考文章 :
纯Python和scikit-learn对比实现PCA特征降维
系列文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981
正文
1. 降维方法
对于给定的一组数据点, 以矩阵 Xm×nX_{m \times n}Xm×n​ 表示 :
X=(X...]]></description><category></category></item><item><title><![CDATA[纯Python和PyTorch对比实现SGD, Momentum, RMSprop, Adam梯度下降算法]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85218799</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85218799</guid><author>oBrightLamp</author><pubDate>Sat, 22 Dec 2018 22:27:18 +0800</pubDate><description><![CDATA[摘要
本文使用纯 Python 和 PyTorch 对比实现SGD, Momentum, RMSprop, Adam梯度下降算法.
相关
原理和详细解释, 请参考: :
常用梯度下降算法SGD, Momentum, RMSprop, Adam详解
文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981
正文
1. 算法类
...]]></description><category></category></item><item><title><![CDATA[常用梯度下降算法SGD, Momentum, RMSprop, Adam详解]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85218783</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85218783</guid><author>oBrightLamp</author><pubDate>Sat, 22 Dec 2018 22:25:57 +0800</pubDate><description><![CDATA[摘要
本文给出常用梯度下降算法的定义公式, 并介绍其使用方法.
相关
配套代码, 请参考文章 :
纯Python和PyTorch对比实现SGD, Momentum, RMSprop, Adam梯度下降算法
系列文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981
正文
1. SGD
随机梯度下降 (Stochastic ...]]></description><category></category></item><item><title><![CDATA[内容提要]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85162129</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85162129</guid><author>oBrightLamp</author><pubDate>Fri, 21 Dec 2018 14:54:31 +0800</pubDate><description><![CDATA[本系列不适合首次接触深度学习读者, 但非常适合作为第二本书.
建议深度学习的初学者先从其他资料开始学习基本概念, 本系列亦有一篇文章专门推荐入门的学习资料.
限于篇幅, 大部分学习资料都没有详细的公式推导过程和配套的代码实现, 讲述相关的基础概念就占据了大量的空间.
有注重于基础概念的, 也有注重于实战项目, 都很好.
本系列的目的是, 填补基础概念到实战项目之间的空白.
作者发现, 注重这一块知...]]></description><category></category></item><item><title><![CDATA[均方差损失函数MSELoss详解及反向传播中的梯度求导]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85137756</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85137756</guid><author>oBrightLamp</author><pubDate>Thu, 20 Dec 2018 20:21:36 +0800</pubDate><description><![CDATA[摘要
本文给出均方差损失函数 MSELoss 的定义并求解其在反向传播中的梯度.
相关
系列文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981
正文
均方差损失函数 MSELoss 定义简洁, 梯度求导简单, 应用广泛.
1. 梯度
设向量 s 作为预测值, 向量 y 为实际值, 由 MSELoss 函数计算得出误差值...]]></description><category></category></item><item><title><![CDATA[纯Python和PyTorch对比实现门控循环单元GRU及反向传播]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85109607</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85109607</guid><author>oBrightLamp</author><pubDate>Wed, 19 Dec 2018 22:46:45 +0800</pubDate><description><![CDATA[摘要
本文使用纯 Python 和 PyTorch 对比实现门控循环单元GRU及其反向传播.
相关
配套代码, 请参考文章 :
门控循环单元GRUCell详解及反向传播的梯度求导
文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981
正文
1. GRUCell 类
文件目录 : vanilla_nn/grucell.py...]]></description><category></category></item><item><title><![CDATA[门控循环单元GRUCell详解及反向传播的梯度求导]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85109589</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85109589</guid><author>oBrightLamp</author><pubDate>Wed, 19 Dec 2018 22:44:56 +0800</pubDate><description><![CDATA[摘要
本文给出门控循环单元GRUCell的定义公式, 并求解其在反向传播中的梯度.
给出的相关公式是完整的, 编程导向的, 可以直接用于代码实现, 已通过 Python 验证.
相关
配套代码, 请参考文章 :
纯 Python 和 PyTorch 对比实现门控循环单元 GRU 及反向传播
Affine 变换的定义和梯度, 请参考文章 :
affine/linear(仿射/线性)变换函数详解及全连...]]></description><category></category></item><item><title><![CDATA[纯Python和PyTorch对比实现循环神经网络LSTM及反向传播]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85069255</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85069255</guid><author>oBrightLamp</author><pubDate>Tue, 18 Dec 2018 16:44:45 +0800</pubDate><description><![CDATA[摘要
本文使用纯 Python 和 PyTorch 对比实现循环神经网络LSTM及其反向传播.
相关
配套代码, 请参考文章 :
长短期记忆网络LSTMCell单元详解及反向传播的梯度求导
文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981
正文
1. LSTMCell 类
文件目录 : vanilla_nn/lstm...]]></description><category></category></item><item><title><![CDATA[长短期记忆网络LSTMCell单元详解及反向传播的梯度求导]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85068285</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85068285</guid><author>oBrightLamp</author><pubDate>Tue, 18 Dec 2018 16:17:47 +0800</pubDate><description><![CDATA[摘要
本文给出长短期记忆网络LSTMCell单元的定义公式, 并求解其在反向传播中的梯度.
求导过程比较长, 涉及的变量很多, 但求导过程并不难, 只要细心即可.
给出的相关公式是完整的, 编程导向的, 可以直接用于代码实现, 已通过 Python 验证.
相关
配套代码, 请参考文章 :
纯 Python 和 PyTorch 对比实现循环神经网络 LSTM 及反向传播
Affine 变换的定义和...]]></description><category></category></item><item><title><![CDATA[深度学习算法与编程 (暂停更新)]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981</guid><author>oBrightLamp</author><pubDate>Tue, 18 Dec 2018 16:08:42 +0800</pubDate><description><![CDATA[affine/linear(仿射/线性)变换函数详解及全连接层反向传播的梯度求导

https://blog.youkuaiyun.com/oBrightLamp/article/details/84333111


]]></description><category></category></item><item><title><![CDATA[纯Python和PyTorch对比实现循环神经网络RNNCell及反向传播]]></title><link>https://blog.youkuaiyun.com/oBrightLamp/article/details/85015402</link><guid>https://blog.youkuaiyun.com/oBrightLamp/article/details/85015402</guid><author>oBrightLamp</author><pubDate>Sat, 15 Dec 2018 16:31:46 +0800</pubDate><description><![CDATA[摘要
本文使用纯 Python 和 PyTorch 对比实现循环神经网络RNNCell单元及其反向传播
相关
原理和详细解释, 请参考:
循环神经网络RNNCell单元详解及反向传播的梯度求导
https://blog.youkuaiyun.com/oBrightLamp/article/details/85015325
正文
import torch
import numpy as np

np.rando...]]></description><category></category></item></channel></rss>