四月晴

Stacked Hourglass Networks for Human Pose EstimationAbstractHourglass Net是一个进行人体位姿估计的卷积神经网络。对多种尺寸上得到特征并且捕获身体上各种空间关系。作者展示了如何将重复的自下而上，自上而下的处理并且与中间监督结合使用，这些对于提高网络性能至关重要。“stacked hourglass” 使用一系列池化和上采样来...

优化算法优化算法的功能就是改善训练方式，来最小化（最大化）损失函数模型内部有些参数，是用来计算测试集中目标值 Y 的真实值和预测值的偏差，基于这些参数，就形成了损失函数E(x)。比如说，权重(ωωω)和偏差(b)就是这样的内部参数，一般用于计算输出值，在训练神经网络模型时起到主要作用。在有效地训练模型并产生准确结果时，模型的内部参数起到了非常重要的作用。这也是为什么我们应该用各种优化策略和...

Layer NormalizationAbstract目前效果最好的深度学习网络计算代价昂贵。减少训练时间的方法之一是规范化神经元的激活。Batch Normalization 使用了这一思路，用mini-batch的均值和方差来规范化，这极大的减少了训练时间但是，BN的效果在很大程度上依赖于mini-batch size的大小，并且不能应用到RNN上面在这篇文章，我们用Layer...

Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shift论文地址：https://arxiv.org/abs/1502.03167

InsightFace论文地址：https://arxiv.org/abs/1801.07698 项目地址：https://github.com/deepinsight/insightface创新点提出了一个新的损失函数(ArcFace)，有更好的几何解释性 对于一些公开数据集的二次处理，并将处理后的数据公开评测了不同网络结构的效果和性能损失函数基于欧式距离的损...

线性分类线性分类是用权重W去计算一张图片属于不同分类的分数。下图中假设对猫的每个像素点提取出来，排成一列，记为X。用权重W去乘以X并且加上bias，最后得到的分数是对于这张图片属于哪个分类的预测。 线性分类的解释线性分类在几何上的解释 当我们对权重W中的一行进行改变，那么对应的分类平面会在不同的方向进行旋转。线性分类作为一个模版(template)进行匹配 另外一...

MTCNN (Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks)

Going deeper with convolutions2014年，GoogLeNet和VGG获得了当年(ILSVRC14)的前两名。VGG主要是在AlexNet的基础上对网络进行改进，而GoogLeNet则是尝试了新的网络结构，深度只有22层，参数也少了很多。相比与之前看过的论文不同的是Going deeper with convolutions不仅考虑了准确率之类的数据评估尺度，更...

反向传播推导反向传播是一种利用链式求导法则求梯度的方法，理解这个过程对于学习深度学习是十分重要的。之前一直只是理解基本的概念，下面详细说明具体的理论并具体推导。基本求导f(x,y)=xy∂f∂x=y∂f∂y=xf(x,y)=xy∂f∂x=y∂f∂y=xf(x, y) = xy \quad \frac{\partial f}{\partial x } = y \quad \frac{\p...

转载自：https://blog.youkuaiyun.com/l691899397/article/details/52250190池化层的输入一般来源于上一个卷积层，主要的作用是提供了很强的鲁棒性。（例如max-pooling是取一小块区域中的最大值，此时若此区域中的其他值略有变化，或者图像稍有平移，pooling后的结果仍不变），并且减少了参数的数量，防止过拟合现象的发生。池化层一般没有参数，所以反...

DropoutAbstract过拟合是指在训练集上表现很好，但是在测试集上表现不好Overfitting can be reduced by using “dropout” to prevent complex co-adaptations on the training data.可以通过使用dropout来避免在训练集上co-adaptations以减少过拟合On each pres...

Inception v2/v3论文题目 Rethinking the Inception Architecture for Computer Vision

Inception V4论文名称：Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning论文地址：https://arxiv.org/abs/1602.07261

Devil in the Details: Towards Accurate Single and Multiple Human ParsingCE2P是一个端到端的人体解析的框架，现已开源，代码连接 。Abstract人体解析方面的研究由于其广泛的应用吸引了广大学者的兴趣。这篇文章的作者提出了一个端到端的人体解析框架（CE2P）来达到state of art的效果。并在一些列比赛中拔得头筹...

介绍论文地址：https://arxiv.org/abs/1812.01187这篇文章主要介绍了一些在训练神经网络中可以提高准确率的tricks。随着深度学习的发展，不断有新的网络结构被提出，例如VGG, NiN, Inception, Resnet, DenseNet, NASNet等。伴随着新的网络结构的诞生，分类准确率也在不断上升。但是，损失函数的改变，数据预处理和优化方法对于准确率...

牛顿法牛顿法是一种二阶梯度方法。与一阶梯度算法相比，二阶梯度方法使用了二阶导数进行了优化。具体解释如下：在函数上随便找个点，做这个点的切线，求出切线的跟（切线和x轴交点）从这个切线的跟出发，做一条垂线与函数相交，继续方才的工作，此时我们发现B比A点更接近跟继续进行上述操作，直到迭代收敛...

SENet论文链接：https://arxiv.org/abs/1709.01507代码地址：https://github.com/hujie-frank/SENetSENet赢得了ILSVRC比赛的第一名，将top-5的错误率减少到2.251%，比一年前下降了25%。SE block是一种组成网络的一种结构，SE block的堆叠就可以构成SENet。这点可以类比于GooLeNet和In...

ResNetResNet论文地址：Deep Residual Learning for Image RecognitionResNet于15年提出，并斩获当年多项比赛奖项。在这篇文章我会从以下几个方面记录我对ResNet的理解ResNet结构是否网络越深结果表现的越好为什么ResNet可以奏效ResNet结构 上图表示ResNet的residual block结构，其中弧线是x...

Group NormalizationGroup Normalization 在18年由Kaiming He和 Yuxin Wu提出，其目的是为了解决BN存在的缺陷，在某些情况下用GN替代BN。BN存在的问题BN全名Batch Normalization，在15年提出后，广泛应用于深度学习领域，其作用主要在于提升训练速度和收敛速度。BN以batch为维度进行归一化。看了BN之后的理解详见...

迁移学习情况1:数据很少在数据量很少的情况下，可以先使用公开的大数据集进行训练，然后改变全连接的最后一层，变成适合我们应用场景的全连接。冻结全连接最后一层之前全部参数，只用我们自己的数据集对全连接最后一层训练。例如：我们可以用数据集ImageNet，网络结构VGG-16进行分类任务。原网络的结果可能是分成一千类，而我们需要的是区分十个小动物，那么我们可以先用ImageNet训练，训练好了之后...

sift特征提取https://blog.youkuaiyun.com/abcjennifer/article/details/7639681 （讲的很详细）

论文阅读请点击MTCNN代码请点击训练数据如何预处理请点击，写的很好

为什么引入非线性激励函数 如果不用激励函数，在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你有多少层神经网络，输出的都是输入的线性组合。 所以我们引入非线性函数作为激励函数。这样深层神经网络就有意义了，不再是输入的线性组合，可以逼近任意函数。最早使用的是sigmoid函数或者tanh函数，输出有界，很容易充当下一层的输入。为什么引入Relu呢 第一，采用sigmoid函...

首先说一下什么叫做过拟合？ 如上图所示，拟合的参数“完美”学习到了我们给出数据，生成的模型可以完全经过所有数据。但是这样的表现却只是在训练集，在测试集表现不好。而我们所需要的是具有更好泛化能力的黑色直线。正则化L2L2L_2正则化： C=C0+λ2nωTωC=C0+λ2nωTωC =C_0 +\frac{\lambda }{2n} \omega^T\omega C0C0C_0代表...

间隔和支持向量给定训练样本集D={(x1,y1),(x2,y2),...,(xm,ym)},yi∈{−1,+1}{(x1,y1),(x2,y2),...,(xm,ym)},yi∈{−1,+1}\left\{(x_1, y_1),(x_2,y_2),...,(x_m, y_m)\right\},y_i∈\left\{-1, +1\right\}。分类学习最基本的思想就是基于训练集D在样本空间中找...

不平衡样本的处理机器学习中经典假设中往往假定训练样本各类别是同等数量即各类样本数目是均衡的，但是真实场景中遇到的实际问题却常常不符合这个假设。一般来说，不平衡样本会导致训练模型侧重样本数目较多的类别，而“轻视”样本数目较少类别，这样模型在测试数据上的泛化能力就会受到影响。一个例子，训练集中有99个正例样本，1个负例样本。在不考虑样本不平衡的很多情况下，学习算法会使分类器放弃负例预测，因为把所有...

决策树接着上篇文章决策树1基尼指数CART（classification and regression tree）决策树使用“基尼指数”来选择划分属性，数据集的纯度此时用基尼值来度量：Gini(D)=∑γk=1∑k′!=kpkp′kGini(D)=∑k=1γ∑k′!=kpkpk′Gini(D) = \sum_{k=1}^{\gamma}{\sum_{k' != k }}{p_kp_...

期望， 方差， 协方差，标准差期望概率论中描述一个随机事件中的随机变量的平均值的大小可以用数学期望这个概念，数学期望的定义是实验中可能的结果的概率乘以其结果的总和。定义设P(x) 是一个离散概率分布，自变量的取值范围为{x1,x2,...,xnx1,x2,...,xnx_1, x_2,..., x_n}。其期望被定义为： E(x)=∑k=1nxkP(xk)E(x)=∑...

网络参数初始化神经网络模型一般依靠随机梯度下降进行模型训练和参数更新，网络的最终性能与收敛得到的最优解直接相关，而收敛结果实际上又很大程度取决于网络参数的最开始的初始化。理想的网络参数初始化使模型训练事半功倍，相反，糟糕的初始化方案不仅会影响网络收敛，甚至会导致梯度弥散或爆炸。网络初始化的方案全零初始化当网络达到稳定状态时， 参数（权值）在理想情况下应该保持正负各半（此时期望为0）...

输入归一化在图像处理中，图像的每一个像素信息同样可以看作一种特征。在实践中，对每个特征减去平均值来中心化数据是非常重要的。这种归一化处理的方式被称为“中心式归一化。卷积神经网络中的数据预处理通常是计算训练集图像像素均值，之后再处理训练集，验证集和测试图像使需要分别减去该均值。我们默认自然图像是一类平稳的数据分布（即数据的每一个维度的统计都服从相同分布），此时，在每个样本上减去数据的统计平均值可...

决策树（decision tree）决策树就是用树状结构来进行分类的一种机器学习算法，是有监督学习的一种。决策树的构造优点：计算法复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点：可能产生过度匹配问题适用数据类型： 数值型（数值型目标变量则可以从无限的数值集合中取值，如0.100，42.001等 (数值型目标变量主要用于回归分析)） 标称型（...

超参数设定和网络训练介绍一些重要的网络设计过程中的超参数设定技巧和训练技巧，如学习率，批规范化操作和网络优化化策略的选择。网络超参数的设定网络超参数设定在搭建整个网络架构之前，需首先指定与网络结构相关的各项超参数：输入图像像素，卷积层个数，卷积核相关参数。输入数据像素大小使用卷积神经网络处理图像问题时，对不同输入图像为得到同规格输出，同时便于GPU运行，会将图像压缩到22222...

当初写这篇博客时候是写在石墨上作为个人的笔记所用，所以很多摘抄，参考别人博客并没有记录下原本的地址，如有侵权，请联系，我们立即删除AlexNet这幅图片是AlexNet的模型。文章发表的时候是2012年，当时的GPU是 GTX580，所以使用了两块GPU，但是目前的硬件水平使用一块GPU就足够了。 图片: AlexNet 共有8层。其中前五层为卷积层，后三层为全连接层。最后一个全连...

机器学习的核心问题是如何使学习算法不仅在训练样本上表现良好，而且在新数据上或测试集上同时奏效，学习算法在新数据上的这样一种表现我们称之为模型的泛化能力。如果一个学习算法在训练集表现优异，同时在测试集依然工作良好，可以说该学习算法有较强的泛化能力。若某算法在训练集表现优异，但是测试集却非常糟糕，我们说这样的学习并没有泛化能力，这种现象也叫做过拟合（overfitting）。 如何避免过拟合？我们可...

模型集成方法集成学习（ensemble learning）是机器学习中一类学习算法，值训练多个学习器并将它们组合起来使用的方法。这类算法通常在实践中会取得比单个学习器更好的预测结果。数据层面的集成方法在训练阶段的数据扩充在测试阶段仍然使用。 诸如图像多尺度， 随机扣取等。以随机扣取为例， 对某张测试图片可得到n 张随机扣取图像，测试阶段只需要用训练好的深度网络模型对n张图分别做预测...

贝叶斯的先导知识，请戳贝叶斯分类器2贝叶斯决策论贝叶斯决策论是根据我们已知的一些概率信息和误判的损失来选择最优的类别。什么是已知的概率信息？ 举一个贝叶斯先导知识里的例子：设有外形完全相同的两个箱子，甲箱中有99个白球和一个黑球，乙箱有99黑球和一个白球。今随机抽取一箱，并从中随机抽取一球，结果取得白球，问这球是从哪个箱子中取出的？ 那么甲箱中抽取白球的概率99%，乙箱中...

基于概率论的分类方法：朴素贝叶斯条件概率所谓条件概率，它是指某事件B发生的条件下，求另一事件A的概率，记为P(A|B)P(A|B)P(A|B)，它与P(A)P(A)P(A)是不同的两类概率。举例： 考察有两个小孩的家庭， 其样本空间为Ω=[bb,bg,gb,gg]Ω=[bb,bg,gb,gg]\Omega = {[bb, bg, gb, gg]}, 其中b 代表男孩，g代表女孩，b...

很多情况下，一个分离超平面并不能完全将训练数据分成两部分。那么我们这是可以允许出现一些误差。故引入松弛因子。 参考资料1.https://blog.youkuaiyun.com/luoshixian099/article/details/51073885#comments...

支持向量机1——间隔和支持向量 支持向量机2——对偶问题

补充点上一篇博客没有提到的知识点多分类学习现实生活中常遇到很多多分类学习任务，有些二分类学习方法可以直接推广到多分类，但在现实更多情形下，我们是基于一些策略，利用二分类学习器来解决多分类问题。利用二分类学习器进行的多分类学习可以分为三种策略：一对一 （One vs One）一对其余 （One vs Rest）多对多 （Many vs Many）一对一 （One vs...