weixin_36761349的博客

一、 概念简单来说，欠拟合是指模型在训练集、验证集和测试集上均表现不佳的情况；过拟合是指模型在训练集上表现很好，到了验证和测试阶段就大不如意了，即模型的泛化能力很差。欠拟合和过拟合一直是机器学习训练中的难题，在进行模型训练的时候往往要对这二者进行权衡，使得模型不仅在训练集上表现良好，在验证集以及测试集上也要有出色的预测能力。二、解决办法下面对解决欠拟合和过拟合的一般方法作一总结，说明大致的处理方向，具体应用还得结合实际的任务、数据和算法模型等。（1）解决欠拟合(高偏差)的方法1.模型

模型介绍Logistic Regression 是一个非常经典的算法，其中也包含了非常多的细节，曾看到一句话：如果面试官问你熟悉哪个机器学习模型，可以说 SVM，但千万别说 LR，因为细节真的太多了。Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regression 因其简单、可并行化、可解释强深受工业界喜爱。Lo...

分别用MATLAB和C#编程实现二元函数梯度下降法求极小值

举例：使用k-近邻算法分类爱情片和动作片。有人曾经统计过很多电影的打斗镜头和接吻镜头，如表2-1显示 SHAPE  \* MERGEFORMAT ​首先计算未知电影与样本集中其他电影的距离，如表2-2所示。 SHAPE  \* MERGEFORMAT ​现在我们得到了样本集中所有电影与未知电影的距离，按照距离递增排序， 可以找到K个距离最近的电影。假定k=3, 则三个最靠近的电...

在机器学习中常用的核函数，一般有这么几类，也就是LibSVM中自带的这几类：1) 线性：2) 多项式：3) Radial basis function：4) Sigmoid：举例：有一个一维的数据分布是如下图的样子，用一个直线来分开，发现不论画在哪，比如绿色竖线，都不可能把两个类分开。使用一个简单的升维的方法，把原来一维的空间投射到二维中，x->(x, x^2)。0-&...