雄关漫道真如铁 而今迈步从头越

《How Transformers work in deep learning and NLP: an intuitive introduction》  2020年的确是 Transformer 年，从 NLP 进军到 CV。本文介绍一下 Transformer在 NLP 领域的应用。2017年的一篇非常有名的文章 “Attention is all you need”改变了我们对 Attention 的看法，有了充足的数据，矩阵乘法，线性层以及layer normalization 我们能够在机器翻.

《Attention 在深度学习中是如何发挥作用的：理解序列模型中的 Attention》   Transformer 的出现让 Deep Learning 出现了大一统的局面。Transformer 首先在 NLP 的机器翻译上大放异彩，Attention is all you need 论文是很值得研究的，随后 Bert、DETR 的出现，Transformer的身影无处不在，目前 vis-transformer 又开始名声大噪。而 Transformer 的基础就是 Attention，本文翻译.

《简记GAN loss的理解》  GAN 是一种思想，刚接触的时候极为震撼，后来通过GAN思想也做过模型的优化，写过一篇专利。最近在用 GAN 生成数据，顺手写一写对GAN loss的理解。Key Words：GAN、SegAN Beijing, 2021.01作者：RaySue Agile Pioneer  文章目录GAN loss通过代码理解 GANSegAN参考GAN lossGAN 网络一般形式的 loss 如下：min⁡Gmax⁡DEx∼Pdata[log(D.

《merge卷积和bn层的原理》  这是一个在移动端非常实用的技巧，而且丝毫不会影响模型的精度，而提高模型的运算速度，就是把BN层离线的时候做好，放在权重值和偏执项中就可以了。Key Words：merge卷积层和BN层 Beijing, 2020作者：RaySue Agile Pioneer    为了让部署的caffe模型获得更高的推理效率，一个技巧就是合并卷积层和BN层，通过离线的对网络的权重值进行计算，来一定程度的减少计算量。  BN层的融合即为将caffe中BN层与.

《卷积的感受野计算及特征图尺寸计算》  从FPN开始，目标检测的精度大幅提升，各种特征融合方式层出不穷，多尺度的特征一大优势是解决了小目标的检测问题。核心思想是利用浅层特征预测小目标，深层特征预测大目标，那为什么浅层特征不能预测大目标呢？这就涉及到了感受野的概念，感受野太小的话是无法捕捉大目标的全部特征的，这样就会导致分类不准，进而导致模型不work，所以准确的对模型的感受野有把控是很必要的。本文会明确的告诉你如何计算卷积的不同层的感受野，包括膨胀卷积，各种步长的卷积。个人认为像ResNet、Dens.

《Seq2Seq中的Attention》  Sequence to Sequence的结构在整个深度学习的进程中占有重要的角色，我在2017年做OCR的时候用这个，当时语音组做语音识别的同事也是用这个，而nlp组的做机器翻译的同事更是利用这个取得了不错的效果，尤其是Attention的引入让Sequence to Sequence的表现更加惊艳，所以这一经典的结构是值得被反复揣摩的，在此记录一下我对Seq2Seq的理解尤其是其中Attention机制，本文会把关于其中Attention运算的所有细节说.

《极简darknet环境搭建记录》  darknet的环境搭建已经非常简单了，但是偶尔的一点小坑，可能会浪费一些时间，比如编译的时候使用CUDA报错，或者没找到OpenCV…简单记录一下，以后用的时候参考方便。Key Words：darknet环境搭建、CUDA算力、通过pkg-config找到OpenCVBeijing, 2020作者：RaySue Code：https://github.com/pjreddie/darknet Agile Pioneer  修改MakeF.

《labelme转coco》  很多实例分割或关键点估计的项目都是以coco数据集作为标准输入进行训练的，每次我们使用自己的数据集的时候都需要修改数据加载的方式，不同工程对数据加载部分封装的各有千秋，为了不浪费时间，早炼丹，早知道效果，可以把自己的数据集用labelme打标之后，直接转为coco的格式，就可以直接开始训练了。Key Words：labelme、coco Beijing, 2020作者：RaySue Code： Agile Pioneer  import arg.

《Caffe环境搭建指北》  caffe的全称是Convolutional Architecture for Fast Feature Embedding，是一个清晰高效的深度学习开源框架，是贾扬清大神在2013年下半年利用空闲时间实现的，2013年12月开源的。caffe目前已经不再更新了，相比与pytorch以及TF2.0来说，该框架显得有些过时，但是对于做深度学习终端的开发者，caffe仍旧是很好的选择。不要自己趟这个坑，照着来吧，不会有问题。Key Words：Caffe环境搭建 B.

LabelSmooth   一种通过简单修改类别标签实现的分类问题优化方法，整理这个的同时我也明白了为什么使用交叉熵来做分类问题，很有收获。1−ϵ，i=y1 - \epsilon，i=y1−ϵ，i=y ϵK−1，i≠y\frac{\epsilon}{K-1}，i \not= yK−1ϵ​，i​=yAgile Pioneer  Cross Entropy  我们在刻画两个分布间的距离时候经常使用交叉熵，至于为什么使用交叉熵而不是使用均方误差，我之前也有疑问，自从看了大神的论证才豁..