Wolf_xujie的博客

主要介绍一下我经常遇见的一些卷积网络和它的一些变种。基础的卷积网络我觉得这个经典的动态图片可以很好的理解卷积的过程。图中绿色的大矩阵是我们的输入，黄色的小矩阵是卷积核（kernel，filter），旁边的小矩阵是卷积后的输入，通常称为feature map。从动态图中，我们可以很明白的看出卷积实际上就是加权叠加。同时，从这个动态图可以很明显的看出，输出的维度小于输入的维度。如果我们需要输出...

论文地址：Very Deep Convolutional Networks for Large-Scale Image Recognition摘要本文研究了深度对卷积网络在大规模图像识别中准确率的影响。本文的主要贡献是，对使用很小(3×3)(3×3)(3×3)的卷积滤波器来增加深度的网络进行了一个全面的评估，表明了通过将深度提高到16——19个权重层，业界最好网络的性能也能够得到显著的提升。这...

摘要越深的神经网络训练起来越困难。本文展示了一种残差学习框架，能够简化那些非常深的网络的训练，该框架使得层能根据其输入来学习残差函数而非原始函数（unreferenced functions）。本文提供了全面的依据来表明，这些残差网络的优化更简单，而且能由更深的层来获得更高的准确率。本文在ImageNet数据集上使用了一个152层深的网络来评估我们的残差网络，尽管它相当于8倍深的VGG网络，但是...

深度神经网络（Deep Neural Networks， 以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型。一、从感知机到神经网络在感知机原理中，我们知道感知机的模型，它是一个有若干输入和一个输出的模型，如下图:输出和输入之间学习到一个线性关系，得到中间输出结果：z=∑i=1mwixi+bz =\displaystyle \sum^m_{i = 1}w_ix_i...

求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。1.梯度在微积分里面，对多元函数的参数求偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y)f(x,y)f(x,y)，分别对x,yx,yx,y求偏导数，求得的梯度向量就是(∂f/∂x,∂f/∂y)T(\partial f ...

感知机可以说是最古老的分类方法之一，早在1957年就已经提出。从今天来看它的分类模型在大多数时候泛化能力不强，但是它的原理却值得好好研究。因为研究透了感知机模型，学习支持向量机的话会降低不少难度。同时如果研究透了感知机模型，再学习神经网络，深度学习，也是一个很好的起点。1.感知机模型感知机的思想很简单，比如我们在一个平台上有很多的男孩女孩，感知机的模型就是尝试找到一条直线，能够把所有的男孩和女...