Abraham Ben

原文: Attention Is All You Needtransformer中一个block结构:先做multi-head self-attention,然后residual, 然后layer normalization。然后通过fc,然后再residual,然后再做layer normalization.最后得到一个block的输出。transformer结构:先加上positional encoding, 然后再输入encoder.以上block重复NNN次。变体: On Layer

传统的CNN得弱点在于一般都是读取局部信息，而没有考虑整个全局的信息。此时如果使用很大的kernel size一次覆盖掉所有的输入。但是弱点有:在机器翻译中的输入长度不定。这种情况下的kernel参数量非常多，容易overfitting。self-attention就是一种可以考虑全局信息的机制。相关论文为: attention is all you needself-attention可以和CNN和FC结合使用。self-attention计算方法如下:计算a1a^1a1与其他输入的相

以机器翻译为例说明：普通的RNN机器翻译模型:次结构弱点在于当target句子太长时，前面encoder学习到的embedding vector(红边框)可能会被后面的decoder遗忘。因此改进版本如下:这样，每次在输入target的word的时候，除了可以看到上一个word,还可以看到最开始encoder学习到的embedding vector.但是次结构的问题有：只用一个emebdding vector代替一整个sequence, 可能最开始读入encoder的word最后算embe

1. 固定不变base_lr = 0.01lr_policy = "fixed"2. step方法每迭代step_size次后减少gamma倍。lr=lr×gammalr=lr×gammalr=lr×gammabase_lr = 0.01lr_policy = "step"gamma = 0.1stepsize= 100003. 多项式曲线下降式LR(t)=base_lr×(tT)powerLR(t)=base\_lr\times(\frac{t}{T})^{power}LR(t)=

原文地址: DenseVoxelNet1. 方法的advantage通过一种紧密连接的机制最大限度地保留了各层之间的信息流动，从而简化了网络训练。通过鼓励特征重用来避免学习冗余的特征映射，因此需要更少的参数来实现高性能，这对于训练数据有限的医疗应用是至关重要的。增加了辅助的边路径来加强梯度的传播，使学习过程更加稳定。2. 网络结构其他的方法要么非常慢,要么没有用到3D信息。用到了3D信息的网络,例如: 3DFractalNet,3DUnet,VoxelResNet3D FractalNet,

1. 如何解决正负类不平衡问题类别不均衡时，不能使用accuracy作为分类器的评价指标。例如：当在对一个类别不均衡的数据集进行分类时得到了90%的准确度（Accuracy）。当你进一步分析发现，数据集的90%的样本是属于同一个类，并且分类器将所有的样本都分类为该类。在这种情况下，显然该分类器是无效的。并且这种无效是由于训练集中类别不均衡而导致的。因此即使分类器将所有的样本都分类到大类下面时，该指标值仍然会很高。即，该分类器偏向了大类这个类别的数据。例如下面这个图:[外链图片转存失败,源站可能有防盗链

1. SGD1.1 batch-GD每次更新使用全部的样本，注意会对所有的样本取均值，这样每次更新的速度慢。计算量大。1.2 SGD每次随机取一个样本。这样更新速度更快。SGD算法在于每次只去拟合一个训练样本，这使得在梯度下降过程中不需去用所有训练样本来更新Theta。BGD每次迭代都会朝着最优解逼近，而SGD由于噪音比BGD多，多以SGD并不是每次迭代都朝着最优解逼近，但大体方向是朝着最优解，SGD大约要遍历1-10次数据次来获取最优解。但是 SGD 因为更新比较频繁，会造成 cost func

1. 传统的损失函数存在的问题传统二次损失函数为：J(W,b)=12(hW,b(x)−y)2+λ2K∑k∈Kwij2J(W,b)=\frac 12(h_{W,b}(x)-y)^2+\frac \lambda{2K}\sum_{k \in K}w_{ij}^2J(W,b)=21​(hW,b​(x)−y)2+2Kλ​k∈K∑​wij2​权重和偏置的迭代方程为：KaTeX parse error: No such environment: align at position 8: \begin{̲a

1. SGD1.1 batch-GD每次更新使用全部的样本，注意会对所有的样本取均值，这样每次更新的速度慢。计算量大。1.2 SGD每次随机取一个样本。这样更新速度更快。SGD算法在于每次只去拟合一个训练样本，这使得在梯度下降过程中不需去用所有训练样本来更新Theta。BGD每次迭代都会朝着最优解逼近，而SGD由于噪音比BGD多，多以SGD并不是每次迭代都朝着最优解逼近，但大体方向是朝着最...

1. 如何解决正负类不平衡问题类别不均衡时，不能使用accuracy作为分类器的评价指标。例如：当在对一个类别不均衡的数据集进行分类时得到了90%的准确度（Accuracy）。当你进一步分析发现，数据集的90%的样本是属于同一个类，并且分类器将所有的样本都分类为该类。在这种情况下，显然该分类器是无效的。并且这种无效是由于训练集中类别不均衡而导致的。因此即使分类器将所有的样本都分类到大类下面时，该...

论文原文：Mask R-CNN1. RoI Align方法1.1 RoI Pooling局限性分析在常见的两级检测框架（比如Fast-RCNN，Faster-RCNN，RFCN）中，ROI Pooling 的作用是根据预选框的位置坐标在特征图中将相应区域池化为固定尺寸的特征图，以便进行后续的分类和包围框回归操作。由于预选框的位置通常是由模型回归得到的，一般来讲是浮点数，而池化后的特...

论文原文: U-Net: Convolutional Networks for Biomedical Image SegmentatioU-Net整体继承自FCN。在FCN原来的基础上经过了一些改进，使之更适合处理医学图像。1. 网络结构 基本的网络结构与FCN差不多。左边是contracting path,右边是expanding path。刚开始原始图像的大小为：512×51...

论文原文: Fully Convolutional Networks for Semantic SegmentationFCN是第一次真正地将CNN用到了semantic segmentation上，由UC Berkeley发明。FCN的主要贡献是提出了一种Transpose Conv的方式，将分辨率小的feature map映射到分辨率大的feature map上，并将高层次的、粗粒度特征和...

论文原文: You Only Look Once: Unified, Real-Time Object Detectionyolo的过程非常简单。就是每次输入一整张的图片，文中作者选择resize到了448×448448×448448\times 448。然后输出是147014701470维的向量。其中1470=7×7×(20+2×5)1470=7×7×(20+2×5)1470=7\times...

论文原文: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal NetworksFaster RCNN的最大贡献是去掉了Selective Search来进行Region Proposal的生成，转而使用RPN(Region Proposal Network)来生成区域候选框。Faster RCNN的整...

论文原文地址为: Fast R-CNN1. RoI Pooling详解RoI Pooling其实是SPP pooling的一种特殊情况。SPP pooling可以采用多个金字塔层，RoI只采用一种。具体做法为: 对于映射到feature map上的RoI(Region Proposal通过变换得来)，假设该RoI大小为h×wh×wh\times w,RoI Pooling的输出为H×WH×...

原文地址:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual RecognitionSppNet的贡献主要有两个： + 引入空间金字塔池化(SPP, Spatial Pyramid Pooling),允许模型接受不同大小的输入,最后能产生相同大小的输出。这样后面就可以进行多尺度训练。 + 根据ZFNet的思想，...

论文原文地址: Rich feature hierarchies for accurate object detection and semantic segmentationRCNN的全称是Regions with CNN features。整个方法的大致思路是先用Selective Search来生成2000个bounding box。然后利用AlexNet对这些Region提取特征，注意...