本文详细解析了Transformer解码器的工作流程，重点介绍了推理阶段的核心步骤。解码器以预设标记<sos>开始，通过掩码自注意力机制防止信息泄露，执行交叉注意力融合编码器信息，并借助残差连接保持特征。关键环节包括多头注意力分解、投影输出归一化、前馈神经网络变换，最终通过线性投影和Softmax生成预测结果。文章还对比了束搜索（确定性输出）和采样（多样性输出）两种预测策略的差异，说明不同任务场景下的适用选择。整个过程以512维向量为基础，通过循环预测直到出现结束标记<eos>终止，

本文详细介绍了Transformer架构的核心原理和实现流程。首先说明Transformer通过自注意力机制实现了序列数据的并行化建模，解决了RNN长距离依赖和计算效率问题。随后以"小莲，我喜欢你"为例，逐步讲解处理流程：1）分词器将句子拆分为token；2）词向量将token转换为512维向量；3）位置编码加入顺序信息。重点解析了编码器的工作机制，包括多头自注意力计算（Query/Key/Value向量生成、注意力分数计算、加权融合）、残差连接与LayerNorm、前馈神经网络等核心组

ZFNet（Zeiler & Fergus Net）是由Matthew D. Zeiler和Rob Fergus在2013年提出的卷积神经网络模型，它是基于AlexNet进行改进而来的。ZFNet在当年的ImageNet Large Scale Visual Recognition Challenge (ILSVRC)中取得了冠军,尤其在分类和定位任务上表现突出。

AlexNet 针对之前的CNN做出来改进，把网络模型增加了（之前训练的5层到8层），并且带权重的网络增加到了8层，识别种类可以达到1000种，在当时是非常不错了，参数60,516,968个（大约6000w个权重参数，和论文里面的60million对上了里面包含的可训练的网络层只有8层（C1、C2、C3、C4、C5、F1、F2、F3）相当于现在的网络层级来说层数太浅了无法支持更复杂的特征。提出步长小于滤波器的边数，这样获取值的时候能够对有效特征进行重复提取，可以提高识别精度。

CNN网络的开山之作，很简单的结构，总共就7层，整体的参数个数：59,706 参数接近6万，参数量相对于现在来说是已经很小了，由于之前受计算机性能和数据等影响，也没法发展太大的网络框架。但是此框架给我们开了一个头，而且由于他的简单方便我们学习。