shushi6969的博客

# init：参数criterion：特征选择方法，包含信息熵、gini；splitter：选择特征的方式，best：所有特征中最好的；random：部分随机特征中选择最好的；max_depth：树的最大深度，超过的将会剪枝；min_samples_split：分裂最小样本个数，不满足条件不进行分枝；min_samples_leaf：分裂后的最小样本个数，小于的则进行剪枝；min_weight_fraction_leaf：叶子节点全部样本权重和的最小值，若是小于这个值，则会被剪枝max_f.

C4.5连续值处理方法1.二分法：说白了，就是按照连续值进行排序，根据数值生成n-1个平均值（上述计算公式）；例子：密度进行信息增益计算：（1）原始score集合：{a1,a2,……,an}= {0.697,0.774,0.634,0.608,0.556,0.403,0.481,0.437,0.666,0.243,0.245,0.343,0.639,0.657,0.360,0.593,0.719}（2）sort之后score集合：{a1,a2,……,an}={0.243,0...

1.最小二乘法（矩阵表达、几何意义）2.概率角度：最小二乘法 == noise为gaussian分布的最大似然估计（MLE）3.zheng

Learning to rank是解决排序问题的一种方法。1.排序问题排序问题就是当我们搜索一个query下，搜索页面会返给我们很多的页面，而这些页面就是通过排序方法得到的。2.常见计算方法NDCD = DCG/perfect_DCG其中，DCD是位置信息和相关度的一个结合。3.常见方法具体见文献3解释pointwise是单文档和query的相关性，pairwise...

        卷积神经网络也是一种前馈神经网络，是一种专门用来处理具有类似网格结构的数据的神经网络。例如，时间序列数据和图像数据。该神经网络使用了卷积数学运算，是一种特殊的线性运算。卷积神经网络的稀疏交互、参数共享及等变表示等特性使之可以有效地降低网络的复杂度，减少训练参数的数目，使模型对平移、扭曲、缩放具有一定程度的不变性，并具有强鲁棒性和容错能力，且也易于训练和优化网络结构。       下...

梯度下降法的定义就是从百科上拿下来的，梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数...

奇异值分解（Singular Value Decomposition，以下简称SVD）是矩阵分解中三大分解方法之一，另外2个为LR分解以及QR分解。奇异值分解对矩A进行分解，得到了3个矩阵的乘积：改：右奇异向量，是A^TA的正交特征向量。S是A^TA也是AA^T的特征值平方根。也就是说，左奇异矩阵可以用于行数的压缩。相对的，右奇异矩阵可以用于列数即...

潜在语义索引潜在语义索引（Latent Semantic Indexing,以下简称LSI），也叫Latent Semantic Analysis ,简称LSA。本文中称为LSI。LSI是一种主题模型，他是利用SVD奇异值分解方法来获得文本的主题的。奇异值分解详见点击打开链接。LSI方法可以用作特征降维、文本相似度计算等。优缺点：（1）SVD是非常耗时的，主题模型非负矩阵分解（NMF）可以很好的解...

朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法，他可以预测样本类隶属度的概率，通过训练集数据进行联合密度计算，然后对待分类的样本进行使用贝叶斯定理求出后验概率最大的类别y。特征条件独立假设：朴素贝叶斯分类方法假设每个特征词之间都没有任何影响，特征词之间是相互独立存在的，此假设为条件独立假设，该假设是为了方便计算。贝叶斯定理：条件概率：P(X)是X先验概率，P(Y)是先验概率，P(Y|X)和...

       决策树是一种基本的分类和回归方法，作为分类的决策树对于训练数据会产生一颗树。决策树同数据结构中的树形结构一致，都是由边和节点构成的，节点之间是由边相连的，每个节点是由叶子和非叶子节点构成的，多个节点连到一起就构成了树。决策树是以训练数据为基础，对训练数据进行归纳和分析，得到了一颗以特征词为节点的多叉树。在树中，采用了自顶向下的构建方法构建决策树，依据属性值的不同选择不同的分支路径，并...

信息熵：在信息论与概率统计中，熵是表示随机变量不确定性的度量。对于离散型随机变量集合X，其概率分布为则随机变量X的熵为熵越大，表示随机变量的不确定性就越大。例如，当随机变量X的集合取值只有0和1时，其概率分布为则，熵为当H(p)的值为0时，说明变量完全没有不确定性，当p=0.5，也就是H(P)=1时（最大值），说明随机变量的不确定性最大。而在机器学习中，熵的值越大表示所含的信息量越多（特征选择算法...