bbbeoy的专栏

人工智能

ConvNeXt-V2：当 MAE 遇见 ConvNeXt 会碰撞出怎样的火花？ConvNext详解ConvNeXt 详解ConvNeXt V2：用MAE训练CNNConvNeXt V2 论文笔记ConvNeXt V2:使用掩码自动编码器共同设计和扩展ConvNets

这就是一个特征重标定的过程，特征归一化输出的其实是一个权重值，这个值载荷输入x相乘就能获得每个通道的重要程度，GRN中还加入了两个可学习参数weight和bias用于优化。通过在H和W维度上使用L2范数，把空间特征聚合成为一个向量，其实也可以使用类似SE里的全局平均池化层，主要用于获取全局性的通道信息。用于计算当前通道相对于其他通道的相对重要性，其值在0~1之间，该方法类似于SE里的sigmoid输出。中提出的一种归一化方法，其实也就是一种注意力机制，跟视觉中常用的。

稀疏卷积

自动微分

NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。本系列大概有6～7篇文章，通过论文和源码和大家一起学习研究。本文把 Megatron 的两篇论文/一篇官方PPT 选取部分内容，糅合在一起进行翻译分析，希望大家可以通过本文对 Megatron 思路有一个基本了解。

引用

PixelShuffle是目前通用上采样upsample技术中性能最好的。PixelShuffle现已广泛应用在如图像分割等计算机视觉问题上，和。一起成为了神经网络中最常用的两种上采样技术。

Linear Scale Rule:

https://arxiv.org/pdf/1901.05555.pdfskewed 倾斜的，歪斜的 heuristic 启发式的 interpolated插值 focal 焦点的 complementary 互补的 coverage 覆盖 tamable 可驯服的 intrinsic 内在的，本质的Abstract随着大规模、真实世界数据集的迅速增加，长尾数据分布问题的解决变得至关重要（即少数类占了大部分数据，而大多数类的代表性不足)。现有的解决方案通常采用类重新平衡策略，例如根据每个类的观察

​​​​​​如何解决图神经网络（GNN）训练中过度平滑的问题？ - 知乎作者：日知链接：https://www.zhihu.com/question/346942899/answer/835222364来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。不是所有图神经网络都有 over-smooth 的问题，例如，基于 RandomWalk + RNN、基于 Attention 的模型大多不会有这个问题，是可以放心叠深度的～只有部分图卷积神经网络会有该问题。.

搬砖https://www.cnblogs.com/LittleHann/p/10587512.html

1. 在训练的过程中应用了正则化，但是在对验证集计算损失的时候没有采用正则化。比如在损失函数中加入了L1，L2等正则项，或者dropout。正则化会牺牲训练精度，但是可以通过提高验证集和测试集的精度防止过拟合。如果在验证集中也加入正则项，那么会改善验证集损失小于训练集损失这种情况。2. 在计算训练集的损失时，它是边训练边计算的，不是等训练完一轮（epoch）后再计算总的训练集损失的。实际上，我们的数据是一个batch一个batch的输入到模型中训练的。在一轮训练中，每训练完一个batch就计算一下该ba

https://spaces.ac.cn/archives/6705

https://zhuanlan.zhihu.com/p/33999416

https://zhuanlan.zhihu.com/p/94799295

https://www.jianshu.com/p/4280f104ddf7https://blog.youkuaiyun.com/qq_27586341/article/details/90751794

https://blog.youkuaiyun.com/u013195114/article/details/105565696https://blog.youkuaiyun.com/qq_34107425/article/details/105522916

传统距离：欧氏距离(Euclidean Distance)，曼哈顿距离(Manhattan Distance)，切比雪夫距离( Chebyshev Distance )，闵可夫斯基距离(Minkowski Distance)，标准化欧氏距离(Standardized Euclidean distance )，马氏距离(Mahalanobis Distance)，夹角余弦(Cosine)，皮尔逊相关系数（Pearson correlation)，汉明距离(Hamming distance)，杰卡德相似系...

https://blog.youkuaiyun.com/liuxiao214/article/details/81037416

https://qianyang-hfut.blog.youkuaiyun.com/article/details/86644192https://blog.youkuaiyun.com/qy20115549/article/details/93074519链接：https://www.zhihu.com/question/41765860/answer/331070683来源：知乎最干的干货：首先，我们的原始目标是，需要根据已有数据推断需要的分布p；当p不容易表达，不能直接求解时，可以尝试用变分推断..

https://zhuanlan.zhihu.com/p/44954540?utm_source=wechat_timelinehttps://zhuanlan.zhihu.com/p/101157166https://www.jianshu.com/p/27350d110caf

https://blog.youkuaiyun.com/qq_38640439/article/details/102624044?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.chan

不同于cross entry loss或者MSE等等，他们的目标去表征模型的输出与实际的输出差距是多少。但是ranking loss实际上是一种metric learning,他们学习的相对距离，而不在乎实际的值。由于在不同场景有不同的名字，包括 Contrastive Loss, Margin Loss, Hinge Loss or Triplet Loss.ranking loss 应用十分广泛，包括是二分类，例如人脸识别，是一个人不是一个人。ranking loss 有非常多的叫法，但是他们的

http://karpathy.github.io/2019/04/25/recipe/#2-set-up-the-end-to-end-trainingevaluation-skeleton--get-dumb-baselinesSome few weeks ago Iposteda tweet on “the most common neural net mistakes”, listing a few common gotchas related to training neural n...

https://zhuanlan.zhihu.com/p/35019701

Teacher forcing is a method for quickly and efficiently training recurrent neural network models that use the ground truth from a prior time step as input.It is a network training method critical to...

https://blog.youkuaiyun.com/u014380165/article/details/75142664/

RPN(RegionProposal Network)区域生成网络Faster-RCNN的核心。在这里整理。1.anchors。特征可以看做一个尺度51*39的256通道图像，对于该图像的每一个位置，考虑9个可能的候选窗口：三种面积{128,256,512}×{128,256,512}×三种比例{1:1,1:2,2:1}{1:1,1:2,2:1}。这些候选窗口称为anchors...

yolo-idea本文逐步介绍YOLO v1~v3的设计历程。YOLOv1基本思想YOLO将输入图像分成SxS个格子，若某个物体 Ground truth 的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。yolo-grid-predict每个格子预测B个bounding box及其置信度(confidence score)，以及C个类别概率...

目前目标检测算法有很多，譬如：R-CNN，Faster R-CNN，DPM，RPN等等，YOLO也是其中之一，YOLO是当前目标检测算法中发展最为迅速的一个。YOLO结合了GooleNet modification和卷积神经网络的知识，可以对图像中的物体进行分类和定位。卷积神经网络对于物体分类来说效果是很好的，YOLO利用卷积层提取物体特征，通过全连接层进行分类和定位。接下来，我将大概讲一下YOL...

YOLO（You Only Look Once）是CVPR2016的一篇文章,是目标检测领域比较有名的的一篇文章，yolo出名不在于它的精度高，而在于他的速度很快，下面介绍的是yolo的第一版，在yolo之后，又改进出了yolo-v2,yolo-v3,v2,v3的精度相比较于v1就有大大提升了，这个后面再详细介绍。在介绍yolo之前，首先引入一下目标检测的进展，yolo之前的目标检测一般是如何...

1. 综述  这篇论文提出了一种仅适用单一深度神经网络的图像中的目标检测算法。这种算法称为 SSD，它输出一系列 离散化 的 bounding boxes，这些 bounding boxes 是在不同的层次（layers）上的 feature maps 上生成的，并且有着不同的 aspect ratio（长宽比）。  在预测阶段的大致流程为：计算出每一个 default box 中的物体属...

下面的介绍都是基于VGG16的Faster RCNN网络，各网络的差异在于Conv layers层提取特征时有细微差异，至于后续的RPN层、Pooling层及全连接的分类和目标定位基本相同.一）、整体框架我们先整体的介绍下上图中各层主要的功能1)、Conv layers提取特征图：作为一种CNN网络目标检测方法，Faster RCNN首先使用一组基础的conv+relu...

Region Proposal NetworkRPN的实现方式：在conv5-3的卷积feature map上用一个n*n的滑窗（论文中作者选用了n=3，即3*3的滑窗）生成一个长度为256（对应于ZF网络）或512（对应于VGG网络）维长度的全连接特征.然后在这个256维或512维的特征后产生两个分支的全连接层：(1)reg-layer,用于预测proposal的中心锚点对应的propo...

R-CNN --> FAST-RCNN --> FASTER-RCNNR-CNN:(1)输入测试图像；(2)利用selective search 算法在图像中从上到下提取2000个左右的Region Proposal；(3)将每个Region Proposal缩放(warp)成227*227的大小并输入到CNN，将CNN的fc7层的输出作为特征；(4)将每个R...

Mask R-CNN是ICCV 2017的best paper，彰显了机器学习计算机视觉领域在2017年的最新成果。在机器学习2017年的最新发展中，单任务的网络结构已经逐渐不再引人瞩目，取而代之的是集成，复杂，一石多鸟的多任务网络模型。Mask R-CNN就是典型的代表。本篇大作的一作是何凯明，在该篇论文发表的时候，何凯明已经去了FaceBook。我们先来看一下，Mask R-CNN取得了何等的...

传统的目标检测方法大概分为区域选择、特征提取（SIFT、HOG等）、分类器（SVM等）三个部分，其主要问题有两方面：一是区域选择策略没有针对性、时间复杂度高，窗口冗余；另一方面手工设计的特征鲁棒性较差。以下介绍基于Region Proposal的深度学习目标检测算法R-CNN->SPP-NET->Fast R-CNN->Faster R-CNN.R-CNN创新点采用CNN...

一、基于Region Proposal（候选区域）的深度学习目标检测算法Region Proposal（候选区域），就是预先找出图中目标可能出现的位置，通过利用图像中的纹理、边缘、颜色等信息，保证在选取较少窗口（几千个甚至几百个）的情况下保持较高的召回率（IoU，Intersection-over-Union）。图1 IoU定义Region Proposal方法比传统的滑动窗口方...

object detection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object detection要解决的问题就是物体在哪里，是什么这整个流程的问题。然而，这个问题可不是那么容易解决的，物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片的任何地方，更何况物体还可以是多个类别。object detection技术的演进：RCNN->S...