机器学习相关概念总结

机器学习：从数据中自动分析获得模型,并利用模型对未知数据进行预测

深度学习：指多层的人工神经网络和训练它的方法

神经网络：通过对人脑的基本单元——神经元的建模和联接，探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。

激活函数：在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端

线性和非线性：线性与非线性的一个明显区别是叠加性是否有效。在一个系统中，如果两个不同因素的组合作用只是两个因素单独作用的简单叠加，这种关系或特性就是线性的。反之，如果一个系统中一个微小的因素能够导致用它的幅值无法衡量的结果，这种关系或特性就是非线性的。相应地，具有叠加性的系统，是线性系统；反之，则属于非线性系统

独立同分布：如果变量序列或者其他随机变量有相同的概率分布，并且互相独立，那么这些随机变量是独立同分布。

特征矢量：接受者操作曲线，用来衡量你的模型分类结果有多准确。

主成分分析：设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标

降维:降维是通过单幅图像数据的高维化，对单幅图像转化为高维空间中的数据集合进行的一种操作

损失函数:将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数

正则化:指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果

规范化:将原来的度量值转换为无量纲的值。通过将属性数据按比例缩放，通过一个函数将给定属性的整个值域映射到一个新的值域中，即每个旧的值都被一个新的值替代。有3 种规范化策略

交叉熵:表示两个概率分布p,q,其中p表示真实分布,q表示非真实分布,在相同的一组事件中,其中,用非真实分布q来表示某个事件发生所需要的平均比特数

特征脸:用于机器视觉领域中的人脸识别问题的一组特征向量

特征向量:某个线性变换下方向不变(也可以说具有保角性),其大小不变或乘以某个缩放因子的非零向量

特征值:指设A是n阶方阵,如果存在数m和非零n维列向量x,使得Ax=mx成立,则称m是A的一个特征值

主成份分析:将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标

奇异值分解:奇异值分解则是特征分解在任意矩阵上的推广

参数和超参数:模型参数是从数据中自动估计的,而模型超参数是手动设置的,并用于估计模型参数的过程

卷积和特征提取:卷积是两个变量在某个范围内相乘求和的结果,像素值和权值参数相乘后得到新的结果相当于进行卷积操作,这时权值参数相当于对原来的像素值进行了某种变换,也就是一种特征提取

前向传播:将训练集数据输入到ANN的输入层，经过隐藏层，最后到达输出层并输出结果

反向传播:由于ANN的输入结果与输出结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层

梯度和导数:梯度的本意是一个向量(矢量)，所谓导数,就是用来分析函数“变化率”的一种度量

批归一化；对神经层中单个神经元进行归一化

层归一化:对某一层的所有神经元进行归一化

范数；度量某个向量空间（或矩阵）中的每个向量的长度或大小

曼哈顿距离:标明两个点在标准坐标系上的绝对轴距总和

欧式距离:衡量的是多维空间中两个点之间的绝对距离

线性层：每个神经元与上一个层所有神经元相连,实现对前一层的线性组合或线性变换

softmax层：将卷积神经网络计算后的多个神经元输出,映射到(0,1)区间,给出每种分类的概率情况

sigmoid层：把一堆值变成非线性的,它返回值是在0-1之间

最大池化：将输入的图像划分为若干个矩形区域,对每个子域输出最大值

平均池化:图片按照固定大小网格分割,网格内的像素值取网格内所有像素的平均值

Dropout:在深度学习网络的训练过程中,按照一定的概率将一部分神经网络单元暂时从网络中丢弃

优化器:在深度学习反向传播过程中,指引损失函数(目标函数)的各个参数往正确的方向更新合适的大小,使得更新后的各个参数让损失函数(目标函数)值不断逼近全局最小

学习率：确定每次迭代中的步长,使损失函数收敛到最小值

交叉验证： 交叉验证就是一种常用的模型选择方法,使用部分数据集进行验证模型的有效性

查准率：衡量某一检索系统的信号噪声比的一种指标，即检出的相关文献与检出的全部文献的百分比

查全率(召回率)：指从数据库内检出的相关的信息量与总量的比率

ROC：

循环神经网络：以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络

序列转序列网络：使用两个循环神经网络,将一个语言序列直接转换到另一个语言序列

BN网络：

残差网络:是一种非常有效的缓解梯度消失问题网络，极大的提高了可以有效训练的网络的深度

词嵌入:把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量

注意力:将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制

自注意力:根据两两之间的关系来引入权重，在通道、空间两个层面，通过计算每个单元通道与通道之间、像素点与像素点之间的值，来加强两两之间的联系，进而提高精确度语义分割