深度学习
关注
分享
扫一扫
主要是自己的学习笔记
希望能够分享给更多的人
欢迎指出错误与不足
BQW_
吉林大学
北京大学
目前的兴趣：自然语言处理
展开
-
【深度学习】：常见的激活函数
原创 2019-06-10 14:27:48 · 405 阅读 · 0 评论 -
【深度学习】：优化算法_SGD_Momentum_Adagrad_RMSProp_Adam
原创 2019-06-04 19:09:33 · 419 阅读 · 0 评论 -
【深度学习】：梯度消失与梯度爆炸
原创 2019-04-08 12:09:56 · 323 阅读 · 0 评论 -
【深度学习】：Batch Normalization
原创 2019-04-07 18:50:34 · 197 阅读 · 0 评论 -
【深度学习】：Language Model
原创 2019-04-04 15:30:03 · 399 阅读 · 0 评论 -
【深度学习】：Attention机制
原创 2018-12-13 22:16:29 · 648 阅读 · 0 评论 -
【深度学习】：卷积神经网络(CNN)
原创 2018-10-20 18:53:44 · 974 阅读 · 0 评论 -
【深度学习】：计算图上的前向传播算法与反向传播算法
原创 2018-10-22 17:10:19 · 1250 阅读 · 0 评论 -
【深度学习】：循环神经网(RNN)
参考文献：[1]. Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning.[2]. https://blog.youkuaiyun.com/zhaojc1995/article/details/80572098[3]. http://speech.ee.ntu.edu.tw/~tlka...原创 2018-10-19 15:59:45 · 1113 阅读 · 0 评论 -
【深度学习】：长期依赖与LSTM
参考文献：[1]. http://colah.github.io/posts/2015-08-Understanding-LSTMs/[2]. https://www.jianshu.com/p/9dc9f41f0b29[3]. Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning....原创 2018-10-19 02:27:16 · 7404 阅读 · 1 评论 -
【深度学习】：超详细的Softmax求导
原创 2018-10-18 01:30:14 · 17474 阅读 · 13 评论 -
【深度学习基础】：线性代数(二)_奇异值分解及numpy、scipy实现
一、奇异值分解的意义 除了特征分解外，还有另一种分解的方法，称为奇异值分解(SVD)，它可以将矩阵分解成奇异值和奇异向量。相对特征分解来说，奇异值分解的应用更加广泛，每个实数矩阵都有一个奇异值分解，但不一定有特征分解。例如：非方阵的矩阵没有特征分解，但有奇异值分解。 二、奇异值分解 三、奇异值和奇异向量的含义 四、Python实现1. ...原创 2018-07-16 00:13:26 · 2275 阅读 · 0 评论 -
【深度学习基础】：线性代数(三)_逆矩阵与伪逆矩阵
一、矩阵的逆定义 2.Python 2.1 Numpyimport numpy as npA = np.array([[1,2], [3,4]])# 求逆矩阵A_inv = np.linalg.inv(A)np.dot(A,A_inv) 2.2 Scipyimport nu...原创 2018-07-16 22:04:57 · 5235 阅读 · 1 评论 -
【深度学习基本】：线性代数(四)_范数
一、Lp范数 二、Frobenius范数 三、Python1.Numpyimport numpy as np# 向量x = np.arange(9) - 4# 矩阵A = x.reshape((3, 3))# L1范数print(np.linalg.norm(x,1))# L2范数print(np.linalg.norm(x,2))# L正无穷范...原创 2018-07-16 23:42:44 · 1800 阅读 · 0 评论 -
【深度学习基础】：线性代数(五)_矩阵的迹
一、定义 迹运算返回的是矩阵对角元素的和：二、意义 三、性质四、Pythonimport numpy as npA = np.array([[1,2,3], [4,5,6]])A.trace() ...原创 2018-07-18 17:26:23 · 1509 阅读 · 0 评论 -
【深度学习基础】：概率论(一)_正态分布(高斯分布)
原创 2018-07-24 20:01:19 · 3371 阅读 · 0 评论 -
【深度学习基础】：概率论(二)_指数分布与Laplace分布
原创 2018-07-24 21:22:54 · 7367 阅读 · 0 评论 -
【深度学习基础】：概率论(三)_sigmoid、softplus与Relu
原创 2018-07-24 21:55:14 · 31524 阅读 · 0 评论 -
【深度学习基础】：信息论(一)_自信息/熵/联合熵/条件熵/相对熵/交叉熵/互信息及其相互之间的关系
原创 2018-07-25 13:15:46 · 2767 阅读 · 0 评论 -
【深度学习基础】：数值计算与优化(一)_梯度下降与随机梯度下降(SGD)及Python+Numpy实现
1.加载包、产生数据并绘制import numpy as npimport matplotlib.pyplot as pltfrom sklearn.linear_model import LinearRegression%matplotlib inlinenp.random.seed(66)X = np.linspace(0,50,50)#...原创 2018-07-31 10:14:26 · 4490 阅读 · 2 评论 -
【深度学习基础】：线性代数(一)_特征分解及numpy、scipy实现
一、特征分解的意义 有时，我们会将现实中的某些事物抽象成矩阵的形式，例如可以将一张图片抽象成一个像素值组成的矩阵。此时，我们也许希望中将矩阵分解成多个组成部分，这些组成部分代表了这个矩阵的特征，这就是特征分解的意义。 二、 特征值与特征向量三、 特征分解 四、实对称矩阵的特征分解 五、 实对称矩阵在二次方程中的应用 六、正定、半...原创 2018-07-15 02:15:50 · 3492 阅读 · 0 评论 -
【深度学习基础】：数值计算与优化(二)_基于梯度的二阶优化算法_Jacobian矩阵_Hessian矩阵_牛顿法_拟牛顿法_DFP_BFGS
import numpy as npfrom scipy import optimize定义要求最小值的函数，这里以f(x,y)=(1−x)2+100(y−x2)2f(x,y)=(1−x)2+100(y−x2)2f(x,y)=(1-x)^2+100(y-x^2)^2为例# 定义目标函数def target_function(x,y): retur...原创 2018-08-02 12:13:43 · 4078 阅读 · 1 评论 -
【深度学习基础】：最大似然(ML)估计、贝叶斯估计、最大后验(MAP)估计
相关知识点：KL散度原创 2018-08-07 14:39:28 · 3669 阅读 · 0 评论 -
【深度学习】：L1与L2正则化的原理
参考文献：Ian Goodfellow,Yoshua Bengio,Aaron Courville.Deep Learing.原创 2018-11-09 14:37:23 · 1273 阅读 · 0 评论