xuanweichangran的博客

过拟合（overfitting）：模型几乎通过了所有训练集，可能表现为一条非常扭曲的曲线，有可能代价函数很小或者为0,但不能泛化到新的测试数据上。欠拟合：模型不能很好的拟合训练集。正则化：如下式所示：如果取得很大，那么值就会较小，那么就能得到一个更光滑的曲线，减小其扭曲程度。                                                    值的作用是控制两个不...

线性回归用来拟合连续的y效果很好，但是用来做分类却效果很差。逻辑回归虽然名字是回归但是却是用于分类逻辑回归模型：

一、回归与分类的区别        回归的Y变量为连续数值型，如房价、人数等        分类的Y变量为类别型，如是否生存、颜色、有无癌症等二、单变量线性回归        使用一个简单的线性模型：                                                    来逼近现有的数据集。可以看到这个线性模型是以x为自变量，为因变量。        逼近的过程，其...

一、优化算法的一般途径尝试获取更多的训练集尝试选择更少的特征（特征选择？）尝试获取新的特征尝试增加模型的复杂度（如线性回归则增加参数的非线性程度，如神经网络则增加隐藏层的层数和隐藏层的每层的个数？）尝试减小正则化参数尝试减小正则化参数      那么在实际优化的时候我们到底应该使用哪种方法呢？在研究生期间，因为对机器学习刚接触不接就进入导师的项目，当时就花费了超过了半年的时间，看论文、获取更多的训...

一、随机森林的理解随机森林：分类器使用决策树，然后再使用集成学习中bagging算法，将弱分类器组合成强分类器。bagging算法：Bagging即套袋法，其算法过程如下：A）从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独...

  一、机器学习从业方向 从事机器学习的从业人员大致分为以下三类： 1.“重造轮子”学派：如百度的PaddlePaddle 2.“参数调教”学派：如一些研究院或学校，为了发表文章而过于注重参数调优，从而导致了模型过拟合。 3.“拳打脚踢”学派：研发人员都分散在业务组，他们都不会在参数调优上浪费时间，而是更注重实际业务的处理。   二、机器学习模型选择。   机器学习有监督学习和非监...

一、K近邻算法详述        1.算法步骤           为了判断未知实例的实例，以已知实例的实例作为参照。           选择参数K（K个与未知实例最近邻的点,通常k是不大于20的整数）           计算未知实例与所有已知实例的距离。           选择K个最近K个已知实例的点。           根据少数服从多数的投票原则，让未知实例归类为K个最近邻...