QQ_2642160196的博客

解决使用kaggle命令下载数据集出现的403 - Forbidden错误

将dataloader参数num_workers改成0即可，这是当enumerate和dataloader连用时产生的bug

BN层位于激活函数之前，它先对数据进行标准化，在进行缩放和平移。标准化是防止数据达到饱和（即激活值分布在大部分都接近0或1），这样会使数据对激活函数不敏感。而缩放平移是为神经网络学会，在标准化效果好时，尽量不抵消标准化的作用，而在标准化效果不好时，尽量去抵消一部分标准化的效果，相当于让神经网络学会要不要标准化，如何折中选择。...

首先，卷积神经网络从低层到高层过程中，先是通过卷积层的卷积核提取低级特征（如垂直边缘特征，水平边缘特征，颜色等局部特征），随着层数加深，慢慢实现层边缘特征到局部特征的转换（在中间主要靠池化层扩大感受野），到了全连接层，就逐渐实现将多个部分特征（即每个特征图代表一种特征）组合为整体的转变。重点是，最初卷积层是如何提取多个特征？因为随机初始化权重导致不同的卷积核有不同的参数，而后更新的过程中导致它...

下面是在代码中具体实现获取中间层输出以及可视化的方法%matplotlib inlineimport numpy as npnp.random.seed(1337)from keras.models import Modelfrom keras.layers import Dense,Inputfrom keras.datasets import mnistimport matplo...

再深度学习中，数据量往往很大，所以在保障数据精度的同时还要考虑计算效率，虽然float64比float32有更高的精度，但一个在内存中占分别64和32个bits，也就是4bytes或8bytes.具体来讲，float64占用的内存是float32的两倍，是float16的4倍；比如对于CIFAR10数据集，如果采用float64来表示，需要60000323238/1024**3=1.4G，光把数...

常用来转化成one-hot格式的函数to_categorical（）导入方式：from keras.utils.np_utils import to_categorical该函数实现的是将一个类别向量（即存放标签的向量）转化成由二进制组成的类别矩阵，专门用于选择categorical_crossentropy’作为损失函数时使用。函数内部结构：// A code blockvar fo...

卷积层和全连接层具有权重系数，因此也被称为权重层；池化层不涉及权重，因此不属于权重层，在计算参数量时，不被计数。其中，卷积层权重的大小为卷积核的size X 卷积核的number（如：size为3x3x3,number 128,则权重为3x3x3x128）;全连接层的权重为：前一层节点数×本层的节点数。以上都是不考虑偏置的前提下。...

优点：1.在卷积层所用的权重和偏置的参数较少，两个原因：（1）参数共享； （ 2）稀疏连接。2. 具有平移不变性，即使图片中的目标位置平移到图片另一个地方，卷积神经网络仍然能很好地识别出这个目标，输出的结果也和原来未平移之前是一致的。...

卷积层：输入与滤波器做元素积，再求和，即得到输出中对应的一个元素（滤波器可以不翻转）。池化层：每个通道单独池化，其中，一个通道就代表所提取到的一种特征在图片中的分布，值越大，代表这种特征在该区域就越明显，值越小，代表这种特征在该区域几乎没有，池化后的输出也是保持这样。最常用的是 最大池化，其次是平均池化。注意：池化层没有参数要进行学习（更新），它只有超参数（人为设置），无权重矩阵和...

每个过滤器都可以检测一个特征，所当我们要检测多个过滤器时，就需要多个过滤器，最后得到的图像的第三个维度等于顾虑器的个数，即为多个过滤器与原图像的卷积，再堆叠在一起。...

其中，p是填充层数，s即为卷积时所走的步长

蓝色字体写的都是超参数，包括mini batch，正则化之类的参数，正是这些超参数控制着参数w，b的值，所以才叫它们超参数。超参数的选择是一个不断实践的过程，特别是在深度学习中，实践多了，才会产生直觉，这是一个循序渐进的过程。...

权重矩阵w的维度为 第l层的神经元个数 X 第l-1层的神经元个数，即是n(l),n(l-1)的矩阵。

往往将权重w初始化很小，是为了z= w^T x +b过大，sigmoid（z）的值过大，导致使用梯度下降算法求解最优参数时，收敛太慢

反向传播

虽然在z=0时没有斜率但可以人为加上去，在实际上等于0的概率很小所以，令其等于两个中任意一个都可以。

常用的几种激活函数（第一种一般用在输出层）一般在神经网络中很少使用线性激活函数（回归除外），因为它会使得隐藏神经元有和没有都没什么关系，最后得到的是还是一个恒等的线性激活函数...

广播就类似于将其复制成与前面相同的维度。

例子import numpy as npimport timea = np.random.rand(1000000)b = np.random.rand(1000000)tic = time.time()c = np.dot(a,b)toc = time.time()print©print(“vectorized version:” + str((toc-tic))+“s”)...

这是一次梯度下降的过程，我们要进行多次梯度下降来求得最优的参数。

在喂入足够多的数据x和y，神经网络就能精准的找到它们之间的映射函数。预测房价一边用Standard NN;即神经网络非常擅长于计算从x到y的精准映射函数。对于图像数据处理，如加标签，常用CNN；对于一维序列（具有一定顺序）数据，如具有时间序列的音频数据，常用RNN；（因为其中包含时间成分）而语言转换也是序列数据，用更复杂的RNN（RNNs）.结构化数据是数据的数据库（即每个特征都有清...