随笔

题10.1 （待补）10.210.310.410.510.6 （暂无）10.710.810.910.10

文章目录题9.19.2(只有理解，无证明)9.39.4（待补）9.59.69.79.89.99.10（待补）题9.19.2(只有理解，无证明)Hausdorff距离量度度量空间中真子集之间的距离。所谓度量空间，也就是一个集合，其中任意元素之间的距离可定义；真子集就简单理解成一组有限（可以是无限）数目的元素（点）集合。因此，Hausdorff距离可以理解成一个点集中的点到另一个点集的最短...

文章目录题8.18.28.3 待补8.48.5 待补8.68.6.1 偏差与方差解释：https://www.zhihu.com/question/204484648.78.8 待补8.9 待补8.10题8.18.28.3 待补8.4P190介绍了AdaBoost实质上是基于加性模型以类似于牛顿迭代法来优化指数损失函数。。受此启发，通过讲迭代优化过程替换为其他优化方法，产生了Gra...

文章目录题7.17.27.3（待补）7.47.57.6(待补)7.77.87.9(待补)7.10(待补)题7.1西瓜数据集3.0(P84)编号,色泽,根蒂,敲声,纹理,脐部,触感,密度,含糖率,好瓜1,青绿,蜷缩,浊响,清晰,凹陷,硬滑,0.697,0.46,是2,乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,0.774,0.376,是3,乌黑,蜷缩,浊响,清晰,凹陷,硬滑,0.634,0....

文章目录题6.16.2题6.16.2

文章目录题5.15.25.35.4题5.1神经网络中的激活函数是为了给线性分类添加非线性因素，使其能很好进行非线性划分。如果在使用线性函数进行激活，那么无论多少层神经网络都会退化成线性回归，无法进行非线性分类。因此激活函数主要有以下几个要求：非线性，内在反映的是模型的非线性；可微性，以支持梯度下降法等基于微分的优化方法；单调性，以保证单层网络是凸约束，从而存在最优；输出值范围受限...

题4.1决策树停止生成的三个条件：1.当前结点包含的样本全属于同一类别，无需划分2.当前属性集为空，或是所有样本在所有属性上取值相同，无法划分3.当前结点包含的样本集合为空，不能划分而题目中特征向量完全相同但标记不同的，就属于第二种情况里的所有样本在所有属性上取值相同，无法划分，这时候会将样本数最多的类返回，以后训练数据用此决策树预测时都返回同一个类，因此若要保证训练误差为0，那么一...

题3.1f(x)=ωTx+bf(x)=\omega^{T} x+bf(x)=ωTx+b 中，ωT\omega^{T}ωT 和b有各自的意义，简单来说，ωT\omega^{T}ωT决定学习得到模型(直线、平面)的方向，而b则决定截距，当学习得到的模型恰好经过原点时，可以不考虑偏置项b。偏置项b实质上就是体现拟合模型整体上的浮动，可以看做是其它变量留下的偏差的线性修正，因此一般情况下是需要考虑偏...

个人目录：参考：https://zhuanlan.zhihu.com/c_1013850291887845376参考：https://blog.youkuaiyun.com/icefire_tyh/article/details/52064910

题2.1采样角度：采用分层采样，因此要保证训练集里有350个正例、350个反例，测试集里有150个正例，150个反例划分方式角度：具体划分数值已确定（70%训练，30%测试），那么就开始从500个正例中挑350个放入训练集，500个反例中挑350个放入训练集，剩下的放入测试集。挑哪些放入训练集就是数学的组合问题：正反例都要挑，因此结果为 C500150C_{500}^{150}C5...

1.1版本空间：概念学习中，学习过程看作是在假设空间（所有特征取值组成的空间）中搜索的过程，搜索目标是寻找与训练集“匹配”的假设。比如西瓜有色泽、根蒂、敲声3种属性/特征，每种属性/特征都各有3种取值，再加上每种属性的通配取值/泛化取值 ‘ * ’，则每种属性取值情况有4种，最后还有一种情况是不存在正例，因此假设空间的大小为 4 * 4 * 4+1=65 。现实问题中常面临很大的假设空间，...