DLUT_yan的博客

看到一个关于记录机器学习的pdf文档，感觉写的非常好，记录一下文档中的内容。以及自己通过搜索得到的好的答案。一. 机器学习基础介绍下欠拟合与过拟合？机器学习中用来防止过拟合的方法有哪些？参考：机器学习中用来防止过拟合的方法有哪些？第一个答案就解释的总结的很好了。过度拟合训练样本，模型在训练集上效果好；在测试集上效果差。模型泛化能力弱。欠拟合正好相反，训练样本不能很好的拟合，同样...

目录：一. 集成学习二. boosting 一. 集成学习参考：集成学习集成学习是什么？集成学习通过训练多个分类器，然后将其组合起来，从而达到更好的预测性能，提高分类器的泛化能力。目前集成学习主要有3个框架：bagging，boosting，stacking。bagging:先看第一个bagging：bagging的时候每个分类器都随机从原样本中做有放回的采样，训练基模型，...

一. 从逻辑回归到决策树LR模型是利用线性回归的预测值，通过sigmoid映射为概率，来对数据做预测，有非常友好的数据预处理特性，工业界应用很丰富。 LR是从数学角度出发，给不同的特征乘以不同的权重来得到是否相亲的概率。决策树的处理方式： 二. 什么是决策树决策树是一种解决分类问题的算法，当然CART也可以用来解决回归问题，但是决策树主要是用来解决分类问题。决策树算法采...

一. 基础首先需要先了解基本的概率论知识，由于自己太长时间没有接触概率知识，所以忘记的差不多了，现在需要回忆一下。概率相关知识离散型随机变量：如果随机变量X只可能取有限个或可列个值x1,x2,…,，则称X为离散型随机变量。离散变量是指其数值只能用自然数或整数单位计算的则为离散变量.例如,企业个数,职工人数,设备台数等,只能按计量单位数计数,这种变量的数值一般用 计数方法取得....

一、线性回归利用大量的样本D=(xi,yi)i=1ND={(x_i,y_i)}^N_{i=1}D=(xi​,yi​)i=1N​通过有监督的学习，学习到由x到y的映射f ，利用该映射关系对未知的数据进行预估，因为y为连续值，所以是回归问题。单特征结果只由一个特征决定。hθ=θ0+θ1xh_\theta=\theta_0+\theta_1xhθ​=θ0​+θ1​x多特征结果由多个特征共同...

转载，侵删。引例已知：1000维的feature，近10000的sample，而且数据是稀疏的。首先，尝试一下常用的线性分类器，比如SVM、LR这些，看训练误差和测试误差的差异，这个时候可能出现多种情况。(1) 如果训练误差远小于测试误差，说明分类器已经过拟合了，考虑如何避免过拟合。(2) 如果训练误差与测试误差差不多，但是测试误差太大，说明模型复杂度很可能不够。(3) 如果训练误差与测...

一 逻辑回归基本概念逻辑回归实际上是利用sigmoid函数将线性回归进行了归一化，把输出值压缩到了 0-1之间，这个值代表的是事件发生的概率。逻辑回归其实通常是用来做分类器的，基础概念可以参考：线性回归 逻辑回归(logistic) 二 sklearn逻辑回归使用sklearn中的库，一般使用逻辑回归器，但是这毕竟是一个起源于线性回归器，所以导包的时候还是线性模型中的一个模型。首先...

一 线性回归的基础概念线性回归 逻辑回归(logistic) 非线性假设 softmax机器学习算法之线性回归算法（Linear Regression）二 sklearn线性回归使用sklearn中的库，一般使用线性回归器首先，倒入包： from sklearn.linear_model import LinearRegression创建模型： linear =LinearReg...