IBelieve2016的博客

这里写自定义目录标题图神经网络简介应用场景典型模型GCNPinSAGEGraphSAGEGAT图神经网络与知识图谱部分参考链接：最近在做一些图神经网络相关的课题，做了些调研，简单记录一下想法和收获。图神经网络简介图（Graph）这种数据结构在很多场景下都有大量应用和表现。各节点通过边建立关系，图神经网络是借助神经网络的知识，将图中的每个节点embedding为向量，每个节点向量化后，就可以做很多下游任务了，比如节点的分类、节点间链路预测、节点相关性预测等等。应用场景有了节点的embedding表示

看到了一篇讲的很好的DCN解读，摘录一下https://blog.youkuaiyun.com/Dby_freedom/article/details/86502623FM，deepFM，DCN都常用来做推荐场景的点击率预估。主要是针对超大维度的特征，希望通过模型较好的通过原始特征，学习二阶特征或高阶特征。...

https://zhuanlan.zhihu.com/p/66048276这里重点摘录一下对loss的解读，对我启发很大。

近期在调研目标检测的研究现状，包括two-stage和one-stage，以及anchor-based和anchor-free。把用到的一些链接记录一下 ，方便查阅。机器之心的一篇文章：从锚点到关键点，最新的目标检测方法发展到哪了这篇文章介绍了目标检测方法从anchor-based到anchor-free的发展，并指出anchor-free将会是比较有前景的研究方向。文章是以一篇综...

唐老板的高级机器学习课上讲了SVM的原理，对支持向量机的推导和原理又加深了理解。最大化间隔支持向量机就是希望超平面能距离两个类别点尽可能的远，也就是最大化间隔的思想。前面就不说了，目标函数就是最大化“超平面到两部分支持向量距离之和”，也就是左上角的式子，也相当于最小化其倒数。而γ可以通过改变w的值而约掉，所以没有意义，这种损失函数（Lasso loss function）及约束条件...

这节课讲了卷积神经网络的相关内容。包含了卷积、池化、反向传播、banch normalization相关的内容。依然只把大体思想说说，不作为科普性文章展开描述。卷积神经网络在处理图像等信息时，由于各像素的位置关系是非常有意义的，而多层神经网络却无法捕捉到这种空间上的语义，所以处理图像会非常不合适。而卷积神经网络充分考虑到了图像像素的位置信息，通过卷积、池化等操作一步步将图像信息提取至高...

对于多层神经网络，BP算法可以有效地对参数迭代更新。刚做完BP算法的作业，结合自己的理解简要写写重点，不展开写具体过程了。BP算法前向传播是指从输入逐层计算，得到输出。反向传播用来对参数进行梯度计算和更新。为了简化，将这些层全部考虑为全连接层，这样每层都有w和b参数矩阵。过段时间再重新推导一遍。在推导过程中，首先要明确，z=w*x+b, a=g(z)。其中，x，a分别指改层的输入和输出...

高级机器学习笔记线性回归的损失函数我们采用的是均方误差函数。而逻辑回归采用的是交叉熵。均方误差对于线性函数来说，我们使用平方形式的时候，使用了“最小二乘”的思想，就是用平方来度量估计值与真实值的距离，使其达到最小。而且，如果假设误差服从正态分布，它与最大似然估计在本质上是相同的。如下面两张图所示：误差满足正太分布的话，那么我们可以让似然函数L(w)取最大的值，然后可以求出红...

第一节课1.机器学习模型，就是为了使模型的输出结果与原结果的差距尽可能小。下图的公式中，L就代表损失函数。最后一项是正则项，可以防止过拟合。因为过拟合的情况下，参数的个数会比较多，而如果加上这个惩罚项，就能使很多参数值为0，这样，输入向量的很多维都因为不重要，而不在上面加入权重，从而防止过拟合。还可以按照下面的公式来理解：控制了w的大小，这样就能保证模型输出结果与原结果的差距，保持在一...