qq_37217397的博客

现在发现作为一个初学者，自己整理某些笔记有些费时费力，尤其是对于一些很成熟的算法，在很多平台上都已经有了很成熟深入的解读。在接下来的学习过程中，我会将这些相关算法或是基础知识的深入解读每周做一次整理，附上大神们的解读链接，链接供自己学习记录，方便复习。如有侵权联系删除。SVD机器学习中的SVD总结小强大佬的这篇文章从矩阵分解入手，详细解读了矩阵分解的意义和方法，并且回顾了特征值特征向量的...

分类无监督学习可以分为两类：一类是化繁为简，实际上是聚类和降维；另一类是无中生有，即生成算法。聚类算法下述两种算法的区别在于，K-means聚类要事先自己设定要划分为几个cluster，而HAC不需要。K-means聚类①人工设定有k个cluster，并为他们设置K个随机的examples。②为所有的样本计算出他们最可能属于的cluster（计算距离）。③对每个cluster求m...

分类直推学习：训练过程中使用待测试数据，目的是提高对这些数据分类的正确率。归纳学习：训练过程的目的是提出一个能够泛用的模型，而不是单单为了某些待测试数据。常用方法self-training自我训练：方法非常直观①根据有标签的data训练出一个模型；②把无标签的data代入模型，得到可能性最大的标签③选择②中一些表现比较好的数据（指得到的最大可能性与其他可能性差距较大，即这个labe...

接下来讲述一下在DL中，对应于testing部分的一些技巧。early stoppingregularizationdropout

在这节课之前，李宏毅老师还介绍了一些其他与DL相关的知识，包括Backpropagation（反向传播），和Keras的使用方法，不过这部分比较简单，所以我不单独再做笔记。DL与ML的一个重要区别...

introduction和一般的机器学习十分类似，深度学习也是有三个步骤，唯一与机器学习三步骤不同的是第一个步骤：neural network，也就是神经网络。机器学习的第一步是挑选一个function set，而深度学习是挑选一个神经网络，他们实际上十分类似。什么是神经网络呢？实际上和一个function set 是一样的，之所以叫神经网络是因为这个function的结构时网状的，每个节点...

标题我们会发现，我们得到的需要 minimize 的 Loss function，它的形式恰好就是两个 Distribution p ,q 的 cross entropy。补充：交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。 —百度百科...

Classification: Probabilistic本次课程主要讲述的是如何寻找输出为“classification”的 function，也就是如何寻找输出是分类的函数。输出为分类是对应于输出为数值而言的，也就是与之前所讲述过的的“Regression”相对应。前者的输出是几种类型，如“是，否”，“一般系，水系”，或者做汉字识别等；而后者输出的是一个数值，前面课程所举的例子是预估神奇宝...

Gradient Descent 的技巧下图是对偏微分的书写形式的补充说明，可以用倒三角来表示偏微分组成的向量，也就是梯度。所以下图左侧的式子可以写成下图右侧的式子。这种使用某一字符代表向量的写法可以大大简化书写，倒三角表示偏微分向量也能够简化书写。Tip 1: Tuning your learning rates第一个技巧也就是改变 learning rates 的速率。可以预见的是过小...

Where does the error come from?

李宏毅机器学习笔记（一）本次学习的资源为B站上2017年李宏毅老师的网课视频。机器学习的目标机器学习的目标实际上是通过 training data 找到一个函数，使该函数拥有根据某些输入而输出的能力。类似于给出一些日期来预测pm2.5指数等。这种输出是根据训练的 data 决定的，从而表现出机器具有某种学习的能力。机器学习的三步骤Step 1:Model首先要有一个model，这个mo...