Deep Learning getting started

Basic concept

其概念来源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构，其通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表达。深度学习允许那些由多处理层组成的计算机模型去学习具有多个等级抽象数据的表达，可利用反向传播算法发现大数据的内在复杂结构，然后BP算法（Back Propagation 反向传播）会指导机器如何在每一层利用从上一层获得的表达来改变其内部参数。 深度学习模型采用深层神经网络（deep neural networks）,通过特征组合的方式，逐层将原始输入转化为浅层特征，中层特征，高层特征直至最终的任务目标。 caffe深度学习框架：输入的特征在全连接与训练样本的标签之间不断调整权值，通过调整权值的大小来使网络具有记忆性。

step1：find a model(function)
    output = c*input + k    liner model线性模型 input = feature
step2: Goodness of function (training data)
    a set of function(model) [loss function: input a function; output how bad it is] Loss Function:衡量一组参数的好坏，一般使用方差 （累加 实际值减去function的理论值）
step3: Best Function 使loss function值最小，穷举参数
gradent descent 梯度下降 任一点求导，导数为负，向右移动；导数为正，向左移动；移动的size取决于1.现在导数值，越陡峭移动越大2.learning rate 一个事先定好的常数值
1.random pick an initial value w
2.compute dL/dw|w=w0
3.w1 = w0 - n*dL/dw|w=w0
经过非常多的参数更新，会到达local optimal（局部最优 not global optimal） 导数为0
两个参数w,b步骤
1.random pick an initial value w0,b0
2.compute 在w0,b0处的偏微分
3.w1 = w0 - n*在w0处的偏微分 b1同理
4.计算w1,b1处的偏微分
5.w2= w1 - n*在w1处的偏微分 b2同理
6.循环往复

​                                          

English translation

regression study:回归研究
convex 凸
formulation 公式
how's the result? tesing date   
later selecting another model 
overfitting 过度拟合
regularzation 正规化
validation 验证
variance 方差
bias 偏差
mean 均值
estimator 估计
diagnosis 诊断
trade-off 交易
cross validation 交叉验证
N-fold cross validation n重交叉验证
gradient descent 梯度下降

where does the error come from?

bias and variance.

​                                           ​

simple model can cause large bias and small variance    (underfitting)

complex model can cause small bias and large variance  (overfitting)

 

if your model cannot even fit the training examples, then you have large bias.

if you can fit the training data, but large error on testing data, then you probably have large variance.

 

For bias, redesign your model:

Add more features as input

A more complex model

For variance:

More data, very effective, but not always practical

Regularization(强迫你的曲线变得更平滑，参数值更小)

 

Model Selection

There is usually a trade-off between bias and variance.

Select a model that balances two kinds of error to minimize total error

Cross validation

Training Set 分为 Training Set and Validation Set

Testing Set (public)

Testing Set (private)

you can use N-fold cross validation

​                               

Gradient Descent

待续

原文链接