absths的博客

第1关：手写数字体生成

第1关：人脸检测第2关：人脸特征点获取第3关：人脸识别第4关：人脸识别绘制并展示

第1关：神经网络基本概念第2关：激活函数第3关：反向传播算法第4关：使用pytorch搭建卷积神经网络识别手写数字

第1关：条件概率第2关：贝叶斯公式第3关：朴素贝叶斯分类算法流程第4关：拉普拉斯平滑第5关：新闻文本主题分类

本关任务：实现卷积层的反向传播。

本关任务：实现全连接层的反向传播。

第二层：卷积层2, 输入为上一层卷积的feature map， 卷积核的个数为256，卷积核的大小为：5 × 5 × 96， pad = 2, stride = 1;然后直接进行max_pooling, pool_size = (3, 3), stride = 2;第一层：卷积层1，输入为 224 × 224 × 3的图像，卷积核的数量为96(输出特征的通道数为96)，卷积核的大小为 11 × 11 × 3，步长 stride = 4,填充数pad = 0, 表示不扩充边缘;开始你的任务吧，祝你成功！

VGG是在2014年由牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司一起研发出了新的深度卷积神经网络，该网络取得了ILSVRC2014比赛分类项目的第二名，VGG可以看成是加深版的AlexNet，整个网络由卷积层和全连接层叠加而成，和AlexNet不同，也正是VGG的贡献在于：VGG是使用很小的卷积核(3×3)构建各种深度的卷积神经网络结构，并对这些网络结构进行了评估，在最终的结果上16-19层的网络深度，能够取得较好的识别精度。

本关任务：通过学习循环神经网络的相关知识，完成单向循环网络的编写。对于我们已经学过的传统神经网络，它们能够实现分类以及标注任务，但一旦处理具有前后遗存关系的数据时，效果就不是十分理想了。这个问题主要由于传统神经网络的结构所导致。这时我们就需要一个不仅仅只依赖当前的输入，还需要结合前一时刻或后一时刻的输入作为参考。循环神经网络就是根据这样的需求而设计的。循环神经网络的主要用途是处理和预测序列数据。循环神经网络最初就是为了刻画一个序列当前的输出与之前信息的关系。

在计算能力有限的情况下，注意力机制（Attention Mechanism）作为一种资源分配方案，将有限的计算资源用来处理更加重要的信息，是解决信息超载问题的主要手段。当用神经网络来处理大量的输入信息时，也可以借鉴人脑的注意力机制，只选择一些关键的信息输入进行处理，来提高神经网络的效率。在目前的神经网络模型中，我们可以将最大汇聚（Max Pooling）、门控（Gating）机制近似地看作自上而下的基于显著性的注意力机制。除此之外，自上而下的聚焦式注意力也是一种有效的信息选择方式。

在分类任务中，网络通常会对输入样本属于每个类的概率进行预测，而我们的目标则是期望正确的类的概率最大。这就是最大似然概率的思想。基于这个思想，我们可以得到交叉熵（Cross Entropy）损失函数。其函数表达式为：其中qi​是标签类别的 one-hot 编码，当样本属于第i个类别时，qi​=1，否则qi​=0；C表示类别的个数；pi​是预测的每个类别的概率，通常是 softmax 的输出：其中xi​是网络模型的输出。