Haward

在高上使用步幅shshs_h，在宽上使用步幅swsws_w，那么输出大小将是 ⌊(nh−kh+ph+sh)/sh⌋×⌊(nw−kw+pw+sw)/sw⌋.⌊(nh−kh+ph+sh)/sh⌋×⌊(nw−kw+pw+sw)/sw⌋.\lfloor(n_h-k_h+p_h+s_h)/s_h\rfloor \times \lfloor(n_w-k_w+p_w+s_w)/s_w\rfloor. 其...

1、整体解读AlphaGo Zero中使用的是强化学习方法，使用的深度神经网络记为fθfθf_\theta (其中θθ\theta 是网络的参数)。网络的输入是棋盘状态sss(sss中表示了当前玩家落子的信息，对手的落子信息，棋盘最后一步落子的信息，当前的棋盘转态谁是先手等信息，即棋盘的历史信息和当前信息)。网络的输出是(p,v)(p,v)(p,v),其中ppp是当前玩家在局面sss状态下，即...

蒙特卡洛树搜索的基本概念蒙特卡洛树搜索会多次模拟博弈，并尝试根据模拟结果预测最优的移动方案。蒙特卡洛树搜索的主要概念是搜索，即沿着博弈树向下的一组遍历过程。单次遍历的路径会从根节点（当前博弈状态）延伸到没有完全展开的节点，未完全展开的节点表示其子节点至少有一个未访问到。遇到未完全展开的节点时，它的一个未访问子节点将会作为单次模拟的根节点，随后模拟的结果将会反向传播回当前树的根节点并更新博弈树的...

1、安装显卡驱动首先删除旧的Nvidia驱动文件sudo apt-get purge nvidia-*加入PPA源sudo add-apt-repository ppa:graphics-drivers/ppa安装Nvidia驱动： 找到自己显卡最新的一个版本后执行安装，比如1080ti当前最新版为nvidia-driver-396sudo apt-get i...

1、安装显卡驱动首先删除旧的Nvidia驱动文件sudo apt-get purge nvidia-*加入PPA源sudo add-apt-repository ppa:graphics-drivers/ppa安装Nvidia驱动： 找到自己显卡最新的一个版本后执行安装，比如1080ti当前最新版为nvidia-driver-396sudo apt-get ins...

1、介绍长短期记忆修改了循环神经网络隐藏状态的计算方式，并引入了与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态）。2、具体的设计（1）输入门、遗忘门和输出门ItFtOt=σ(XtWxi+Ht−1Whi+bi),=σ(XtWxf+Ht−1Whf+bf),=σ(XtWxo+Ht−1Who+bo).It=σ(XtWxi+Ht−1Whi+bi),Ft=σ(XtW...

1、背景裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。门控循环神经网络（gated recurrent neural network）的提出，是为了更好地捕捉时间序列中时间步距离较大的依赖关系。其中，门控循环单元（gated recurrent unit，简称GRU）是一种常用的门控循环神经网络 。（其他门控循环神经网络如：长短期记忆）2、相对RNN的改进入了门的概念，修改了循环...

1、介绍给定时间步ttt的小批量输入Xt∈Rn×xXt∈Rn×x\boldsymbol{X}_t \in \mathbb{R}^{n \times x}（样本数为n，输入个数为x），设该时间步隐藏状态为Ht∈Rn×hHt∈Rn×h\boldsymbol{H}_t \in \mathbb{R}^{n \times h}（隐藏单元个数为hhh），输出层变量为Ot∈Rn×yOt∈Rn×y\bolds...

全连接的参数计算如图: (5*4+5)+(3*5+3) 即第一层参数+第二层参数 参数类型只有2种：w和b w的数量就是输入层到输出层之间的箭头数目，而b的数目等于每个输出神经元的数目（即不包括输入层的神经元），输入层的神经元数目即输入数据的特征维度数目，比如数据矩阵为2*4的矩阵X,2行代表两个样本数据，4列代表每个样本有4个属性特征值，所以经过神经网络的计算是依次取每行的数据进行计...

1、pandas读取数据把训练集和测试集处标签外合并，准备处理数据2、预处理数据连续数据： 如果一个特征的值是连续的，设该特征在训练数据集和测试数据集上的均值为μ，标准差为σ。那么，该特征的每个值将先减去μ再除以σ离散数值： 把离散数据处理成0、1…，比如，天气：晴天，雨天，多云3属性；原来的列“天气”变为3列“晴天，雨天，多云”，时候出现该天气用0，1表示，并把缺失数据值用本...

应对过拟合问题的常用方法：正则化、丢弃法1、L2范数正则化在模型原先损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。L2范数惩罚项指的是模型权重参数每个元素的平方和与一个超参数的乘积。 ℓ(w1,w2,b)+λ2(w21+w22),(λ>0)ℓ(w1,w2,b)+λ2(w12+w22),(λ>0)\ell(w_1, w_2, b) + \frac{\lam...

1、训练误差和泛化误差训练误差（training error）：模型在训练数据集上表现出的误差泛化误差（generalization error）：模型在任意一个测试数据样本上表现出的误差的期望训练数据集学到的模型参数会使模型在训练数据集上的表现优于或等于在测试数据集上的表现。给定测试数据集，我们通常用机器学习模型在该测试数据集上的误差来反映泛化误差。但无法从训练误差估...

1、隐含层多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。 输入和输出个数分别为4和3，中间的隐藏层中包含了5个隐藏单元（hidden unit）。由于输入层不涉及计算，图中多层感知机的层数为2。由图3.3可见，隐藏层中的神经元和输入层中各个输入完全连接，输出层中的神经元和隐藏层中的各个神经元也完全连接。因此，多层感知机中的...

1、单层神经网络经典的浅层模型，例如线性回归和Softmax回归。前者适用于回归问题：模型最终输出是一个连续值，例如房价；后者适用于分类问题：模型最终输出是一个离散值，例如图片的类别。这两种浅层模型本质上都是单层神经网络。2、模型设数据样本数为n，特征数为d。给定批量数据样本的特征和标签X∈Rn×dX∈Rn×d\boldsymbol{X} \in \mathbb{R}^{n \time...

1、分类模型分类模型，例如Softmax回归。和线性回归不同，Softmax回归的输出单元从一个变成了多个。Softmax回归是一个单层神经网络。2、Softmax运算设带下标的w和b分别为Softmax回归的权重和偏差参数。给定单个图片的输入特征x1,x2,x3,x4x1,x2,x3,x4x1,x2,x3,x4，有 o1=x1w11+x2w21+x3w31+x4w41+b1,o2=...

1、引入对输入数据做了归一化处理，就是将每个特征在所有样本上的值转归一化成均值0方差1。这样我们保证训练数据里数值都同样量级上，从而使得训练的时候数值更加稳定。对于浅层模型来说，通常数据归一化预处理足够有效。输出数值在只经过几个神经层后通常不会出现剧烈变化。但对于深层神经网络来说，情况一般比较复杂。因为每一层里都对输入乘以权重后得到输出。当很多层这样的相乘累计在一起时，一个输出数据较大的改变都...

1、最大、平均池化层池化层直接计算窗口内元素的最大值或者平均值 2、多通道池化层的输出通道跟输入通道数相同3、填充和步幅同卷积层一样，池化层也可以填充输入高宽两侧的数据和调整窗口的移动步幅来改变输入大小，不过默认步幅大小等于滑动窗口大小...

1.数据图片数据n*1*28*28，一共有n张图片，图片通道数为1，高宽都是282.网络结构可以分为以下几部分：（1）glimpse_network（）集中关注图片的局部信息：内容和位置（2）core_network（）实际上是RNN网络，处理glimpse_network（）输出的重要子图。（3）location_network（）处理core_network（）输出的信息，...