- 博客(5)
- 收藏
- 关注
RSS订阅原创 task06 boosting
1、Adaboost算法可以简述为三个步骤：（1）首先，是初始化训练数据的权值分布D1。假设有N个训练样本数据，则每一个训练样本最开始时，都被赋予相同的权值：w1=1/N。（2）然后，训练弱分类器hi。具体训练过程中是：如果某个训练样本点，被弱分类器hi准确地分类，那么在构造下一个训练集中，它对应的权值要减小；相反，如果某个训练样本点被错误分类，那么它的权值就应该增大。权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。（3）最后，将各个训练得到的弱分类器组合成一个强分类器。各个
2021-07-27 00:55:52
142
原创 Task05 Bagging
1、Bootstrap又称自展法，是用小样本估计总体值的一种非参数方法，在进化和生态学研究中应用十分广泛。例如进化树分化节点的自展支持率等。Bootstrap的思想，是生成一系列bootstrap伪样本，每个样本是初始数据有放回抽样。通过对伪样本的计算，获得统计量的分布。例如，要进行1000次bootstrap，求平均值的置信区间，可以对每个伪样本计算平均值。这样就获得了1000个平均值。对着1000个平均值的分位数进行计算， 即可获得置信区间。已经证明，在初始样本足够大的情况下，bootstrap抽样能够
2021-07-23 00:38:27
178
原创 Task04分类问题
1、其实分类和回归的本质是一样的，都是对输入做出预测，其区别在于输出的类型。分类问题：分类问题的输出是离散型变量，是一种定性输出。(预测明天天气是阴、晴还是雨)回归问题：回归问题的输出是连续型变量，是一种定量输出。(预测明天的温度是多少度)。比如预测房价的问题，如果定一个阀值，我们就可以把房价分成高房价和低房价两类，回归问题变成分类问题，2、sigmoid函数 的导数在输出接近 0 和 1 的时候是非常小的，故导致在使用最小均方差Loss时，模型参数w会学习的非常慢。而使用交叉熵Loss则没有
2021-07-20 21:04:55
623
原创 偏差和方差理论
1、偏差衡量了模型的预测值与实际值之间的偏离关系。通常在深度学习中，我们每一次训练迭代出来的新模型，都会拿训练数据进行预测，偏差就反应在预测值与实际值匹配度上，形象理解为“偏离实际值的距离”；方差描述的是训练数据在不同迭代阶段的训练模型中，预测值的变化波动情况，即每个预测值与预测均值差的平方和的再求平均数，可以认为是预测值之间的离散程度。2、测试均方误差的期望 ＝ 方差 ＋ 偏差的平方+ 误差，一般来说，随着模型复杂度的增加，方差会逐渐增大，偏差会逐渐减小。3、训练误差是在训练阶段的误差，即预测曲.
2021-07-19 00:37:15
633
原创 Task2回归问题
1、线性回归假设数据集中特征与结果存在着线性关系； 等式：y = mx + c y为结果，x为特征，m为系数，c为误差，在数学中m为梯度c为截距这个等式为我们假设的，我们需要找到m、c使得mx+c得到的结果与真实的y误差最小，这里使用平方差来衡量估计值与真实值得误差（如果只用差值就可能会存在负数）； 用于计算真实值与预测值的误差的函数称为：平方损失函数（squard loss function）；这里用L表示损失函数，所以有： 整个数据集上的平均损失为： 我们要求得最匹配
2021-07-16 22:41:47
90
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人