huplion的专栏

在上一篇文章中，我们介绍了求解全部损失的两种方式和过程： 也就是说，loss是有两部分组成的，一部分是数据损失项，另一部分是正则项，而正则化只作用于w，不作用于数据。损失值反映了分类器工作的好坏，若损失值很低，说明我们对训练集的分类做的很好。那么如何求到最小化损失的w，策略就是使用梯度下降的方式处理。 我们计算每个方向的斜率，这也是一个我们从初中就接触到的求导过程，梯度可以告诉你是向上

从这一篇开始，我们将进入神经网络学习中。一、起源说到神经网络，必然先从生物神经元的结构说起： 左边细胞主体（cell body），它的周围有许多突触（dendrites），突触（dendrites）与周围的神经元相连，所有实际上这个神经元周围还有很多的神经元，突触（dendrites）就是与其他神经元相互连接 的桥梁。看图中的蓝色箭头，从突触（dendrites）开始输入，进入神

一、前言在前几篇文章中，我们学习到如何在训练集上设置权重，并由此计算出损失（loss），其中loss是有两部分组成，分别是数据损失项和正则化损失项。我们最终想要得到损失函数关于权重矩阵w的梯度表达式，然后进行优化。我们采用梯度下降算法，进行迭代运算，计算梯度进行权值的更新，并一直循环执行这个操作。最后会停留在一个损失函数的低值点，我们得到的这个低值点就等价于对基于训练集的分数结果进行良好的预测

今天看了CS231n关于dropout部分的讲述，不是很清晰，拿来一篇关于Dropout的代表性文章来读一读，体会一下。论文原文下载链接：Dropout: A Simple Way to Prevent Neural Networks from Overfitting摘要在具有大量参数的深度神经网络中，Overfitting是一个严重的问题。Dropout是解决这个问题的一种技巧。主

神经网络训练细节系列笔记：神经网络训练细节（Batch Normalization）神经网络训练细节（数据预处理、权重初始化）神经网络训练细节（训练过程，超参数优化）上一篇斯坦福cs231n学习笔记（6）——神经网络初步从生物神经元角度简单的介绍了神经网络的结构，这一篇将着重介绍神经网络的训练细节，如何高效的训练神经网络。一、追溯历史可能女孩子都喜欢爱回忆过去，每次一讲到神

神经网络训练细节系列笔记：神经网络训练细节（激活函数）神经网络训练细节（Batch Normalization）神经网络训练细节（训练过程，超参数优化）这一篇，我们将继续介绍神经网络训练细节。一、Data Preprocessing（数据预处理） 如图是原始数据，数据矩阵X有三种常见的数据预处理形式，其中我们假定X的大小为[N×D]（N是数据的数量，D是它们的维数）。

神经网络训练细节系列笔记：神经网络训练细节（激活函数）神经网络训练细节（数据预处理、权重初始化）神经网络训练细节（训练过程，超参数优化）这一篇介绍很NB的BN（Batch Normalization）：Batch Normalization是由Loffe和Szegedy在2015年提出的概念，主旨是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布。Batch Nor

神经网络训练细节系列笔记：神经网络训练细节（激活函数）神经网络训练细节（数据预处理、权重初始化）神经网络训练细节（Batch Normalization）这一篇将介绍如何在训练中调整学习速率，以及对超参数优化的问题。一、Babysitting the learning process简单描述下神经网络的训练的几个步骤： Step 1 :数据预处理 在神经网络训练

研究生考试结束，终于能有一大块系统的时间来学习神经网络，一直对这块的知识很感兴趣，嘿嘿，兴趣是个好东西。准备着手写一系列关于学习FeiFeiLi的计算机视觉&深度学习课程的总结及心得，分享给大家，我们一起进步！介绍一下计算机视觉的历史和回顾，Computer Vision，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视

从上一篇的Computer Vision的历史与回顾，在进行图像识别的时候，Data作为最重要的驱动力，这一篇我们将介绍数据驱动下的两种图像分类的主流算法。图像分类实质上就是“模式匹配”，早期我们进行图像分类，是利用两张图像的像素值的不同，进而计算图像上的每一块的像素值，通过不同的计算方式，对图像进行分类。曼哈顿算法这是一种非参数化方法，是一种NN分类器，即超参数k=1时的最近邻算

在上一篇中，我们介绍了线性分类器的结构和具体原理，那么这篇我们将介绍如何定义损失函数来衡量在训练数据时的“不理想”程度，进而在这些随机权重中找到比较理想的权重，这也是线性分类器最优化的过程。 如上图所示，不同的权重在不同的图像上的作用效果可好可坏。上图中的猫的权重是2.9，效果不是很好，说明w是有损失的；汽车的权重是6.04，能够正确地将图片进行分类，说明w是没有损失的；而青蛙的权重是-4.

神经网络训练细节系列笔记：神经网络训练细节（激活函数）神经网络训练细节（数据预处理、权重初始化）神经网络训练细节（Batch Normalization）神经网络训练细节（训练过程，超参数优化）通过学习，我们知道，因为训练神经网络有个过程: Sample 获得一批数据； Forward 通过计算图前向传播，获得loss； Backprop 反向传播计算梯度，这个梯度能告诉我