Firmiana1220的博客

文章目录Pre-trained contextual embedding of source codeCodeBERT: A Pre-trained model for programming and natural languagesGraphCodeBert: Pre-training code representations with data flowContrastive code representation learningInferCode: Self-Supervised Learning

文章目录Graph U-Nets研究动机主要内容Hierarchical Graph Representation Learning with Differentiable Pooling研究动机研究内容Graph U-Nets会议：ICML 2019Authors：Hongyang Gao, Shuiwang JiDepartments: Texas A&M UniversityRecommend Score: 8.5 / 10.0Keywords: graph classifica

文章目录Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval研究动机两个任务模型框架模型训练实验评估总结An Overview of Multi-Task Learning in Deep Neural Networks什么是Multi-task Learning?Multi-task learning 适用场景两种常见的参数共享方

Attention & Transformer由Jay Alammar的博客总结链接：1. seq2seq and attention 2. transformerAttention以下的内容都以机器翻译任务举例。Seq2seq for translation传统的seq2seq架构在做机器翻译任务时，encoder部分获取输入句子的embedding，也就是最后一个时间步的hidden state向量，输入到decoder中，经过多个时间步后，得到输出的序列。但其中存在的

简介Jierui Li, Wang Lei 和 Dongxiang Zhang团队发表在ACL19上的工作。主要使用不同功能的Multi-Head Attention来获取不同类型对象的关系。受到multi-head attention工作的启发，作者设计了四种不同的attention机制：Global attention：以整个句子的表示作为query, key和value，以获取全局信...

原文地址：https://zhuanlan.zhihu.com/p/53933876Keras使得创建深度学习模型变得快速而简单。序贯(sequential)API允许你为大多数问题逐层堆叠创建模型。虽然说对很多的应用来说，这样的一个手法很简单也解决了很多深度学习网络结构的构建，但是它也有限制－它不允许你创建模型有共享层或有多个输入或输出的网络。Keras中的函数式(functioanal)...

MNIST数据集是手写数字识别通用的数据集，其中的数据是以二进制的形式保存的，每个数字是由28*28的矩阵表示的。我们使用卷积神经网络对这些手写数字进行识别，步骤大致为：导入库和模块我们导入Sequential模型（相当于放积木的桌子）from keras.models import Sequential接下来，导入各种层（相当于形状各异的积木）from keras.layers...

1. 滤波器 Filter在卷积层中，需要用到滤波器去和图像中的一块进行运算。这个概念可以参考通俗易懂理解卷积神经网络CNN，下面给出卷积的动态图：图中灰色的3*3矩阵就是一个filter，它正在图像矩阵上滑动来对图像上不同部分进行聚焦。卷积操作中，一般会有多于一个filter，因为每一个filter会获取一个方面的特征。比如在识别小狗的图像时，需要一个filter去获取颜色，还有一个去获取...

https://www.zhihu.com/question/222983521. 卷积从数学上讲，卷积就是一种运算，就是一个函数在另一个函数上的加权叠加。2. 卷积的定义我们称(f∗g)(n)(f*g)(n)(f∗g)(n)为f,gf,gf,g的卷积其连续的定义为：(f∗g)n=∫−∞∞f(τ)g(n−τ)dτ(f*g)n=\int_{-\infty}^{\infty}f(\ta...