西电校草-OMEGA

生成模型：由数据学习联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P(Y|X)=P(X,Y)/P(X),表示了给定输入X产生输出Y的生成关系。包括：朴素贝叶斯法、隐马尔科夫模型。特点：收敛速度更快。判别模型：由数据直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测的模型，即判别模型，包括：逻辑斯谛回归、k近邻、感知器、决策树、SVM等。特点：准

（也是面试常考）主要思想：利用一定的手段学习出多个分类器，而且这多个分类器要求是弱分类器，然后将多个分类器进行组合公共预测。核心思想就是如何训练处多个弱分类器以及如何将这些弱分类器进行组合，个体分类器应该“好而不同”。弱分类器如何选择：一般采用弱分类器的原因在于将误差进行均衡，因为一旦某个分类器太强了就会造成后面的结果受其影响太大，严重的会导致后面的分类器无法进行分类，，常用的弱分类器可以

（1）CNN层级结构：输入层->卷积层->激励层->卷积层->激励层。。。数据输入层（数据预处理）：三种方法：去均值（即0均值化，CNN常用，训练集所有像素值减去均值，把输入数据各个维度中心化到0，测试集也减相同的均值）；归一化（幅度归一化到同样的范围）；PCA/白化（降维，白化是对数据每个特征轴上的幅度归一化）。去均值的目的：（1）数据有过大的均值可能导致参数的梯度过大，在梯度回

任务：将数据集中的样本划分成若干个通常不相交的子集。性能度量：类内相似度高，类间相似度低。两大类：1.有参考标签，外部指标；2.无参照，内部指标。距离计算：非负性，同一性（与自身距离为0），对称性，直递性（三角不等式）。包括欧式距离，曼哈顿距离等等。（1）    K均值聚类步骤：1.随机选择k个样本作为初始均值向量；2.计算样本到各均值向量的距离，把它划到距离最小的簇；3.计算新的均值

（1）梯度不稳定问题：什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。（2）梯度消失（vanishing gradient problem）：原因：例如三个隐层、单神经元网络：则可以得到：

这个面试的时候也经常会问，让你比较某几个算法的适用条件，数据、特征量到什么规模时选用哪种算法。（1）决策树适用条件：数据不同类边界是非线性的，并且通过不断将特征空间切分为矩阵来模拟。特征之间有一定的相关性。特征取值的数目应该差不多，因为信息增益偏向于更多数值的特征。优点：1.直观的决策规则；2.可以处理非线性特征；3.考虑了变量之间的相互作用。缺点：1.容易过拟合（随机森林）；

1.   神经网络（1）为什么要用神经网络？对于非线性分类问题，如果用多元线性回归进行分类，需要构造许多高次项，导致特征特多学习参数过多，从而复杂度太高。（2）常用的激活函数及其优缺点阶跃函数sgn(x)（理想，但不连续，不光滑）;Sigmoid函数（下图左）：优点：能够把输入的连续实值压缩到0到1之间；缺点：（1）容

(1) 特征选择a.  信息增益：特征A对训练数据集D的信息增益g(D,A),定义为D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差，即g(D,A)= H(D)- H(D|A):b．信息增益比：信息增益g(D,A)与训练数据集D个关于特征A的值的熵HA(D)之比，其中HA(D)为（2）ID3算法基本思想：以信息增益度量属

（1）基本思想：基于贝叶斯定理与特征条件独立假设的分类方法；首先基于特征条件独立假设学习输入/输出的联合概率分布，然后基于此模型，对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。（2）为什么叫“朴素”：对条件概率分布作了条件独立性的假设，因为这是一个较强的假设。条件独立性假设：根据贝叶斯定理推导：（3）为什么要后验概率最大化：等价于期

基本思想：试图寻找一个超平面来对样本分割，把样本中的正例和反例用超平面分开，并尽可能的使正例和反例之间的间隔最大。算法推导过程：（1）代价函数：假设正类样本y =wTx+ b>=+1,负类样本y =wTx+ b1右边，负类样本位于H2左边，所以原始的代价函数就为：函数间隔（functional margin）:几何间隔（geometric margi

1.    什么是回归是一种监督学习方式，用于预测输入变量和输出变量之间的关系，等价于函数拟合，选择一条函数曲线使其更好的拟合已知数据且更好的预测未知数据。2.    线性回归代价函数（平方误差代价函数，加1/2是为了方便求导）：梯度下降法： ->(1)  批处理梯度下降法：每次对全部训练数据进行求导后更新参数，能求得最优解；(2)  增量梯度下降法

最近一直在实习，好长时间没更新博客了。哎，懒惰之心不可有啊！！实习的岗位是数据挖掘相关的，所以正好把到目前为止实习期间遇到的一些问题、学到的一些东西总结一下，并参考了一些博客，自我提升。嘿嘿嘿~数据挖掘的一般流程：1.问题定义：属于分类问题还是回归问题2.数据获取：根据数据挖掘任务的具体要求，从相关数据源中抽取相关数据集。（以前在实验室的时候用到的都是现成的数据，直接拿过来用就行了