qq_39634612的博客

1.有监督、无监督、泛化能力、过拟合欠拟合(方差和偏差以及各自解决办法)、交叉验证a）监督学习：监督学习的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。（统计方法）；监督学习是从标记的训练数据来推断一个功能的机器学习任务。训练数据包括一套训练示例。在监督学习中，每个实例都是由一个输入对象（通常为矢量）和一个期望的输出值（也称为监督信号）组成。监督学习算法是分析...

1.信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）1）熵：表示随机变量不确定性的度量。设X是一个取有限个值的离散随机变量，其概率分布为， i=1，2，···n则随机变量X的熵定义为：熵只依赖于X的分布，而与X的取值无关，所以也可将X的熵记做H(p)，即熵越大，随机变量的不确定性就越大。2）联合熵：（X,Y）在一起时的不确定性度量3）条件熵：表示在已知...

1、逻辑回归与线性回归的联系与区别Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型。但是一般的线性回归是不应用在分类问题之上的。而逻辑回归则可以面对一个回归或者分类问题，建立代价函数求解出最优的模型参数。而逻辑回归虽然名字里带有“回归”两字，但是实质上是一个分类方法。2...