墨门

1 致谢感谢钟老师的讲述！2伪标签的使用我感觉是这样的，我先有一个比较好的模型，我在test的时候发现的两种情况：好样本和坏样本；然后我在想，感觉对于好样本，我的模型还拟合的比较好，干脆再fine-tune一下，这样子，以后遇到类似的好样本，说不定会拟合的更好；遇到坏样本，“loss相差这么大”，强行训练了，肯定效果也不会很好，泛化也差，干脆放弃吧；...

1 致谢感谢陈助教的讲解！陈助教好厉害呀！2 前言今天在学习Kaggle数据比赛的相关知识，钟老师第一节课在讲LightGBM，涉及到决策树的相关知识但是我不太了解决策树这些相关的知识，所以需要重新复习一下～3 信息熵的学习笔记信息熵其实可以看作事件发生的概率于信息量之间的博弈，事件的概率越低，表示发生的可能性越小，是一个关于概率的增函数，y=P(x)y=P(x)y=P(x)；而信...

1 致谢感谢网友NateHuang的帮助，原文链接如下：https://www.imooc.com/article/359002 前言今天在动物多分类~在赵老师给的原始代码中，动物图片的标签是以连续的数字给出的，例如：“Stage1 中需要将哺乳纲、鸟纲的数据分别标为0，1 作为训练标签；Stage2 中将兔子、老鼠、鸡的数据分别用0，1，2 作为标签”，而陈助教跟我们说，这种表示方法其...

1 致谢感谢MathWorks的官方文档，链接如下：https://ww2.mathworks.cn/help/matlab/math/array-indexing.html2 前言今天在学习K-means算法~在K-means算法每次迭代的过程中，需要计算样本点与质心之间的距离，并对该样本点进行分类，作业中说“You can use a for-loop over t...

1 致谢感谢吴教授的讲述~2 前言今天在学习K-means算法~3 K-means算法的优化目标首先我们需要了解并且确定的是：在K-means算法中，随着迭代次数的增多，损伤函数的值会不断下降，而不会出现升高的情况。也就是说，如果我们绘制出当前K-means方法的损失函数的曲线，而发现出现在某次迭代时，出现损失函数值上升的情况，那么肯定是代码实现出现了问题，这也是 Machine ...

1 前言今天在学习 Machine Learning~2 Regularization-正则化在机器学习中，当训练样本较少少而h(θ)h(\theta)h(θ)较为复杂时，就会产生过拟合现象，其原因是训练步骤无法遍历更多潜在可能的情况，于是h(θ)h(\theta)h(θ)为了减小loss而朝着不可预料的方向进行拟合，从而降低了模型的泛化能力，而Regularization则是针对于这种情况...

1 前言今天在做 Machine Learning中多元线性回归的作业~2 Machine Learning中多元线性回归2.1 Feature Scaling和 Mean Normalization实现 Feature Scaling和 Mean Normalization的公式如下：xi=xi−μisix_i=\frac{x_i-\mu_i}{s_i}xi​=si​xi​−μi​​...

1 前言今天在做 Machine Learning的作业~2 一元线性回归2.1 梯度下降的迭代公式

1 致谢感谢 Andrew Ng老师的教授！2 前言今天在学习多重线性回归~感觉向量化&矩阵化是机器学习中很重要的编程技巧，所以这里进行一下归纳~3 向量化&矩阵化的技巧3.1 使用矩阵转置实现平方求和运算在机器学习中，度量loss一个很常见的形式就是使用L2范数，也就是求解预测值与样本值的平方和，其公式如下，J(θ0,θ1,…,θn)=12m∑i=1m(y^i−...

1 前言今天在学习K-means++算法~2 K-means++算法K-means算法是一种很重要的聚类方法，而K-means++算法是对K-means算法的改进；不过他们之间的区别仅仅在于初始质心的选择不同而已（在有些博文里面，这里的质心被称作“聚类中心”）；K-means++算法中质心初始化的步骤如下：从数据集中随机选取一个样本作为初始质心c1c_1c1​；首先计算每个样本与当...

1 致谢感谢 Andrew Ng教授的讲述！2 前言今天在学习机器学习中对loss函数中的参数进行正则化~3 关于机器学习中loss函数参数正则化在机器学习中，有一项防止过拟合的技巧就是（参数）正则化，以平方误差函数为例，原始的loss函数为：J(θ)=12m∑i=1m(hθ(x(i))−y(i))2J(\theta)=\frac{1}{2m} \sum_{i=1}^{m}\left...

1 致谢感谢 Andrew Ng的教导！2 前言逻辑回归是机器学习中很重要而且很基础的算法，它也代表了分类算法最基本的思想。3 二分类逻辑回归逻辑回归算法3.1 假设函数假设函数的形式为：3.2 损失函数损失函数的形式为：...

1 致谢感谢陈助教的帮助和解答！2 前言线性回归是我们在机器学习算法中学习到的第一个回归算法，所以我们一定要学习并且掌握清楚，为后续的学习奠定良好的基础。3 问题描述这几天在做一元线性回归的作业，在模拟训练过程的实验时，发现一个问题，赵老师在课堂上面画了这样的一张图，这张图会让我误以为：“在一元线性回归中，如果开始的时候，学习率取的过小的话，权重值就会沿着曲线一直慢慢下降，...

1 前言使用有监督学习的问题可以被分为两类：回归问题和分类问题。2回归问题和分类问题回归问题：如果我们预测的结果是以连续数字进行表示，即我们将在连续函数中对多个输入变量建立映射关系时，则这样的问题称之为回归问题。分类问题：如果我们预测的结果是以离散形式表示的，即我们将多个输入变量与多个不同的类别建立映射关系时，则这样的问题称之为分类问题。...

1 致谢感谢机器学习研究会提供的资料2 前言关于SVM，一直觉得是个很神奇的东西，特别是最初的时候听说他是苏联科学家提出来的（SVM最早由前苏联学者Vladimir N. Vapnik和Alexander Y. Lerner），就更觉得酷了，尤其是这个算法的名字还叫“支持向量机”，哇，感觉跟图灵机一样酷呢！3 Linear SVM——线性向量机最初SVM只是一个线性模型。只...