博观而约取，厚积而薄发

权重归一化（Weight Normalization，WN）选择对神经网络的权值向量 W 进行参数重写，参数化权重改善条件最优问题来加速收敛，灵感来自批归一化算法，但是并不像批归一化算法一样依赖于批次大小，不会对梯度增加噪声且计算量很小。权重归一化成功用于 LSTM 和对噪声敏感的模型，如强化学习和生成模型。

由于BN(batch normalization）过度依赖批量的大小，当批量较小时，可能由于批量大小太小，均值和方差不具有全局代表性，导致模型效果恶化。Ba等[14]提出Layer ormalization，中心思想是对当前隐藏层整层做归一化操作。与Batch Normalization的不同之处在于，BN是针对同一个样本中的所有数据，而LN(layer normalization）是针对于单个样本来操作。在LN中，一个批里就有与批量大小同数量的均值和方差。

神经网络层数的增加会增加模型计算负担，同时也会导致模型变得难以训练。随着网络层数的增加，数据的分布方式也会随着层与层之间的变化而变化，这种现象被称为内部协变量偏移 ICS。通常解决 ICS 问题的方法是使用较小的学习率，后来为更好的解决该问题，Sergey等提出批处理标准化算法（Batch Normalization）

EfficientNetV2 网络主要采用神经结构搜索技术（NAS）结合复合模型扩张方法获得了一组最优的复合系数，自动将网络的深度、宽度和输入图像分辨率三个参数进行合理的配置，提升了网络的性能，在 ImageNetILSVRC2012 的 Top-1 上达到 87.3%的准确率，且 EfficientNetV2 减少了模型的参数量并且进一步提升了模型的训练速度。

在同等复杂度的情况下，ShuffleNetV2 要比 ShuffleNetV1 和 MobileNetV1 更加准确。这个网络的优势在于：（1）作为轻量级的卷积神经网络，ShuffleNetV2 相比其他轻量级模型速度稍快，准确率也更高；（2）轻量级不仅体现在速度上，还大大地减少了模型的参数量，并且通过设定每个单元的通道数便可以灵活地调整模型的复杂度。

大家好，今天和各位分享一下 Transformer 中的 Decoder 部分涉及到的知识点：计算 self-attention 时用到的两种 mask。本文是对前两篇文章的补充，强烈建议大家先看一下：1.《Transformer代码复现》：https://blog.youkuaiyun.com/dgvv4/article/details/1254916932.《Transformer中的Encoder机制》：https://blog.youkuaiyun.com/dgvv4/article/details/125507206本节

大家好，今天和各位分享一下 Transformer 中的 Encoder 部分涉及到的知识点：Word Embedding、Position Embedding、self_attention_Mask本篇博文是对上一篇 《Transformer代码复现》的解析，强烈建议大家先看一下：https://blog.youkuaiyun.com/dgvv4/article/details/125491693由于 Transformer 中涉及的知识点比较多，之后的几篇会介绍 Decoder 机制、损失计算、实战案例等。 Wor

今天和各位分享一下如何使用 Pytorch 构建 Transformer 模型。本文的重点在代码复现，部分知识点介绍的不多，我会在之后的四篇博文中详细介绍 Encoder，Decoder，(Mask)MutiHeadAttention，以及实战案例。之前我也介绍过 Vision Tranformer，该模型的 Pytorch 和 TensorFlow2 的复现和实战案例可以看我的这两篇博文：https://blog.youkuaiyun.com/dgvv4/article/details/124792386ht...

大家好，今天和各位分享一下如何使用 Pytorch 构建卷积神经网络中的各种注意力机制，如：SENet，ECANet，CBAM。注意力机制的原理 和 TensorFlow2 的实现方式可以看我下面两篇博文：SENet、ECANet：https://blog.youkuaiyun.com/dgvv4/article/details/123572065DANet、CBAM：https://blog.youkuaiyun.com/dgvv4/article/details/123888724SE注意力机制（Squeeze-and-Exc

终于还是入坑了pyTorch，这个月的目标检测先停更一段时间，先学一段时间的GCN。立个flag，下个月把TensorFlow版的YOLOV5更完。1. 创建 numpy 类型转为 Tensor 类型由于numpy数组类型是最常用的，可以先使用numy创建数组，再从数组转为张量，基本数据类型保持不变，例如：np.float64 变成 torch.float64。从numpy转为tensor类型的方法： torch.from_numpy( numpy数组)# 转换后的数据类型是对应的im.

最近想学一下图卷积GCN，教程竟然都是pyTorch的，作为一名重度TensorFlow用户太崩溃了，没办法只能学一波pyTorch了。首先在pyTorch中，一个张量（tensor）可能会被部署在CPU上，也可能被部署在GPU上。它们的数据类型是不同的。即使是同一个数据，被部署在不同位置，那么它的数据类型也是不一样的。数据类型如下：import torch'''# pyTorch的数据类型# -------------------------------------- ##（1）CUP上