NSSWTT的博客

Graph Contextualized Self-Attention Network for Session-based Recommendation本篇论文主要是在讲图上下文自注意力网络做基于session的推荐，在不使用循环神经网络和卷积神经网络的情况下，自注意网络在各种序列建模任务中取得了显著的成功，然而SAN缺乏存在于相邻项目上的局部依赖性，并限制了其学习序列中上下文表示的能力。本文提出使用图上下文自注意网络模型，使用图神经网络和自注意力机制做推荐，每个session使用自注意力机制学习长期依赖

每个神经元都必须有激活函数。它们为神经元提供了模拟复杂非线性数据集所必需的非线性特性。该函数取所有输入的加权和，进而生成一个输出信号。你可以把它看作输入和输出之间的转换。使用适当的激活函数，可以将输出值限定在一个定义的范围内。如果 xi是第 j 个输入，Wj是连接第 j 个输入到神经元的权重，b 是神经元的偏置，神经元的输出（在生物学术语中，神经元的激活）由激活函数决定，并且在数学上表示如下：这里，g 表示激活函数。激活函数的参数 ΣWjxj​+b 被称为神经元的活动。 ...

最近在听Andrew Ng讲解目标检测的视频，包括目标定位，特征点检测，卷积的滑动窗口的实现，Bounding Box预测，交并比，非极大值抑制，AnchorBoxes，YOLO算法以及候选区域，并通过查阅相关的资料，对以上内容有了初步的理解，趁热打铁，总结如下。一、目标定位（Object Localization）图片分类：图片分类问题已经不陌生了，例如，输入一张图片到多层卷积神经网络，它会输出一个特征向量，并反馈给softmax单元来预测图片的类型。定位分类问题：不仅要用...

这两天在听吴恩达讲解卷积神经网络的视频，对利用卷积层检测边缘特征也就是提取图像的特征有了一定的理解，并且通过查阅资料，用python实现了提取图像特征的过程，然后趁热打铁总结一下，话不多说，直接步入正题。一、卷积层的原理以及概述在卷积神经网络中，卷积运算是对两个矩阵进行的。CNN主要是通过卷积运算来完成特征提取的。图像卷积运算，主要是通过设定各种特征提取滤波器矩阵（卷积核，通常设定大小为3x3,或者5x5的矩阵），然后使用该卷积核在原图像矩阵（图像实际是像素值构成的矩阵）‘滑动’，实...

今天看Andrew Ng的视频，讲到了用梯度检测来验证反向传播算法的正确性，并参考了一些大牛的博客（nxf_rabbit75）,加深了对梯度检测的理解，然后趁热打铁，总结一下一、梯度检测概述 实现神经网络的反向传播算法含有许多细节，在编程实现过程中很容易出现一些微妙的bug，但往往这些bug并不会影响程序的运行，而且你的损失函数看起来也在不断的变小。但最终你的程序得出的结果误差将会比那些无bug的程序高出一个数量级。 当我们对一个较为复杂的模型（例如神经网络）...

在机器学习中，我们训练数据集去训练一个model(模型)，通常的做法是定义一个Loss function(损失函数)，通过这个最小化loss的过程来提高模型的性能。然而我们学习模型的目的是为了解决实际问题（或者说是训练这个数据集领域中的一般化问题），单纯的将训练数据集的loss最小化，并不能保证在解决更一般的问题时模型仍然是最优，甚至不能保证模型是可用的。这个训练数据集的loss与一般化的数据集的loss之间的差异就叫做generalization error=bias+variance。注...

代码实现如下：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltdef loadDataSet(): #数据的读取，从txt文档中读入 dataMat = [] labelMat = [] fr = open('testSet.txt') for line in fr.readlines(): lineA...

前两天学习了最小二乘法在线性回归中可以用来求解最小代价函数（损失函数），今天学习的梯度下降法在线性回归中与最小二乘法具有类似的功能，也可以用来求解最小代价函数，只不过是采用迭代的方式，下面是我对梯度下降法的总结。一、梯度下降法概述官方定义：梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可...

最小二乘法是一种相对来说比较简单而且易于理解的算法，在分类回归算法中经常使用。最近在学习Deep Learning这本书，遇到线性最小二乘，刚开始对于书本上的公式还不是很理解，后来经过查阅资料，对线性最小二乘的原理以及如何使用有了一定的理解，话不多说，直接步入正题。一、最小二乘法官方定义：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二...

这两天一直在学习主成分分析算法（PCA），通过查阅相关的资料，对PCA算法的原理和实施过程有了一定程度的理解，话不多说，直接步入正题。一、PCA算法原理官方定义：PCA是一种常用的数学分析的方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。我的理解：PCA是在尽量不丢失原有数据信息的基础上进行数据的降维。举一个二维降一维的栗子，假设有一组数据[-1, -2], [-1, 0], [0, 0], [0, 1], [2...