SCS199411的博客

文章目录机器学习问题学习曲线 判断是过拟合还是欠拟合为什么用交叉熵代替二次代价函数？MAE损失函数和MSE损失函数理解L1和L2损失函数和正则化作为损失函数作为正规化KNN里面，如果你要自定义metric(不用内置的欧氏距离，曼哈顿距离)，而kd-tree只能用内置的metric，你怎么做？SVM里面，如果增加了惩罚系数，它的损失函数会怎么变？SVM核函数选择极大似然估计和最大后验估计隐马尔科夫模...

sklearn常用机器学习算法参数详解线性回归from sklearn.linear_model import LinearRegressionLinearRegression(fit_intercept=True,normalize=False,copy_X=True,n_jobs=1) '''参数含义：1.fit_intercept:布尔值，指定是否需要计算线性回归中的截距，即...

决策树树与二叉树基本流程划分选择剪枝处理连续值与缺失值处理树与二叉树树是有限元素的集合根结点、内部节点、叶结点父结点、子结点层次、深度二叉树每个结点最多只能有2个子结点简单实例基本流程决策树的生成是一个递归过程。在决策树基本算法中，有三种情形会导致递归返回当前结点包含的样本全属于同一类别，无需划分当前属性为空，或是所有样本在所有属性上...

逻辑回归(Logistic Regression, LR)逻辑回归可以说是互联网领域应用最广的自动分类算法：从单机运行的垃圾邮件自动识别程序到需要成百上千台机器支撑的互联网广告投放系统，其算法主干都是LR。一句话概括逻辑回归:逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。线性回归二分类问题y∈0,1y\in{0...

转载自https://blog.youkuaiyun.com/v_july_v/article/details/81319999                       &n...

机器学习优化算法（1）什么是优化算法？（2）优化算法作用是什么？？（3）优化算法有哪些？1. 什么是优化算法？优化算法就是那个使策略（损失函数）最小化的方法，或者说通过迭代的方法（优化算法）计算损失函数的最优解。2. 优化算法作用是什么？简单说优化算法作用就是，用来调节模型参数，进而使得损失函数最小化，（此时的模型参数就是那个最优解）目前优化算法求解损失函数的最优解一般都是迭代的方式...

1.坐标下降法坐标下降法,是一种非梯度优化算法,算法在每次迭代中，在当前点处沿一个坐标方向进行一维搜索以求得一个函数的局部极小值。在整个过程中循环使用不同的坐标方向。对于不可拆分的函数而言，算法可能无法在较小的迭代步数中求得最优解。为了加速收敛，可以采用一个适当的坐标系，例如通过主成分分析获得一个坐标间尽可能不相互关联的新坐标系.对于一个函数,变量个数为n,也即坐标轴有n个,那么在固定n-1个...

常用的机器学习算法比较授人以鱼不如授人以渔，这篇文章会介绍**如何通过“统计学检验”来对比机器学习算法性能。**掌握了这个方法后，我们就不需要再人云亦云，而可以自己分析算法性能。首先结论如下，在对比两个算法在多个数据集上的表现时：如果样本配对（paired）且符合正态分布，优先使用配对t检测（paired t test）。如果样本不符合正态分布，但符合配对，使用Wilcoxon Sign...