深度学习与对抗样本

1、深度学习的概念

     深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

    同机器学习方法一样，深度学习方法也有监督学习和无监督学习之分，不同的学习框架下建立的学习模型很是不同。例如，卷积神经网络（Convolutional neural networks）就是一种深度的监督学习下的机器学习模型，而深度置信网（DBNs）就是一种无监督学习下的机器学习模型。

   讨论深度学习，所谓的深度是指，网络的层数。深度超过8层的神经网络才叫深度学习。含多个隐层的多层学习模型是深度学习的架构。深度学习可以通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

    深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。 因此，“深度模型”是手段，“特征学习”是目的。深度学习强调了模型结构的深度，突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。

2、深度学习的特性

     2.1、其基本的架构是人工神经网络，针对不同的应用目标会有不同的表达结构，目的是为了更好的提取相应领域的特征。

     2.2、神经网络具有四个基本特征：

            2.2.1   非线性

                    非线性关系是自然界的普遍特征。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

             2.2.2 非局限性

                    一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。

            2.2.3 非常定性

                   人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。

          2.2.4 非凸性

                   一个系统的演化方向，在一定条件下将取决于某个特定的状态函数，例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指 这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。         

       2.3  神经网络中包含语义信息的部分并不是在每个独立的神经元，而是整个空间

       2.4  神经网络学习到的从输入到输出的映射在很大程度上是不连续的

 

3、深度学习的优点

      1、深度学习提出了一种让计算机自动学习出模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计的不完备性。

      2、把特征学习纳入到整个过程，使目标进行归一化，围绕着一个目标来进行就行了。

      3、有点像数学中的级数，能够不断逼近。是一个万能函数逼近器。（但是要生成怎样一个函数，视任务而定）。（体现了连续性归纳比离散性好）。

4、深度学习的缺点

      1、对数据量要求高。为了达到很好的精度，需要大数据支撑，因为所要学习的参数多了。

      2、模型正确性验证复杂且麻烦。

      3、存在对抗样本问题

 

5、对抗样本概念

    对抗样本的概念：对抗样本是指在数据集中通过故意添加细微的干扰所形成的输入样本，会导致模型以高置信度给出一个错误的输出。（这里怎么理解呢？原先样本是能通过网络分类正确的，但是经过一个细微的扰动，却分类错误了，同时这里也可以看到并不是所有使网络分类错误的样本都叫对抗样本，有些仅仅是网络欠拟合）。

6、对抗样本产生的原因分析

  &n