devil_son1234的博客

赠券收集问题

背景Weisfeiler-Lehman算法(威斯费勒-莱曼算法)是测试图同构的经典算法之一，我在这儿记录一下它的实现原理，参考文章为Weisfeiler-Lehman Graph Kernels伪代码论文中的伪代码如下所示假设要测试同构的两张图为G和G`，那么在结点v的第i次迭代里，算法都分别做了四步处理：标签复合集定义、复合集排序、标签压缩和重标签。标签复合集定义如果是第一次迭代，v的标签复合集里只有一个元素，就是v的标签。如果不是第一次迭代，v的标签复合集元素就是v的..

1. 前言论文链接：https://openreview.net/forum?id=HkgEQnRqYQgithub：https://github.com/DeepGraphLearning/KnowledgeGraphEmbedding本文研究在知识图谱中学习实体和关系表示的问题，以预测缺少的链接。 此类任务的成功在很大程度上取决于建模和推断关系（或关系之间）模式的能力。 在本文中，提出了一种新的知识图谱嵌入方法称为 RotatE，它能够建模和推断各种关系模式，包括：对称/反对称，反演和组成。

本文小结：本文主要对原始 Transformer[1]、RPR[2]以及 Transformer-XL[3]中使用的位置表示方法，进行详细介绍。从最初的绝对位置编码，与单词嵌入相加作为第一层的输入，再到 RPR 提出直接在注意力分数的计算中引入相对位置信息，并学习相对距离的表示矩阵(长度固定)，再到 Transformer-XL 中引入偏置信息，并重新使用 Transformer 中的编码公式生成相对距离的表示矩阵，使长度可泛化。0. 位置信息首先简单谈一下位置信息。一般将位置信息简单分为绝对.

一、从Sequence2Sequence说起Sequence2Sequence（简称seq2seq）模型是RNN的一个重要的应用场景，顾名思义，它实现了把一个序列转换成另外一个序列的功能，并且不要求输入序列和输出序列等长。比较典型的如机器翻译，一个英语句子“Who are you”和它对应的中文句子“你是谁”是两个不同的序列，seq2seq模型要做的就是把这样的序列对应起来。由于类似语言这样的序列都存在时序关系，而RNN天生便适合处理具有时序关系的序列，因此seq2seq模型往往使用RNN来构建，如

注意：公式1中L(q)的正负号写错了，L(q, x, theta) = E[logp(x|z) + logp(z) - logq(z)]

思路：将每个概率值对应到[0,1]区间内的各个子区间（概率值大小体现在子区间的长度上），每次采样时，按照均匀分布随机生成一个[0,1]区间内的值，其落到哪个区间，则该区间概率值对应的元素即为被采样的元素；...

1 模型结构这是来自ACL2016的论文，它修改基本的端到端结构，使其可以更好的存储QA所需的先验知识。其结构如图所示。从上图可以看出key embedding和value embedding两个模块跟端到端记忆网络里面的Input memory和Output memory两个模块是相同的，不过这里记忆是使用key和value来表示。而且每个hop之间有R矩阵对输入进行线性映射。此外，求每个问题时会进行一个key hashing的预处理，从知识源里选择出与之相关的记忆，然后再进行模型的训练。..

Markov Logic Network1、Graphical Model是Structured Learning里一种用Graph描述evaluation的方式。Graphical Model有很多中，比如深度学习笔记——理论与推导之Structured Learning【Markov Random Field】（十）中的Factor Graph和MRF都是属于Undirected Graph，Markov Logic Network属于Markov Random Field（MRF）的一种。

在Attention is all you need论文中提出的Transformer。它的一个TensorFlow实现可以作为Tensor2Tensor包的一部分。哈佛大学的NLP小组创建了一个使用PyTorch实现注释该论文的指南。在这篇文章中，我们将尝试把事情简单化一点，并逐一介绍概念，希望能够使那些对主题没有深入了解的人更容易理解。从全局来看让我们首先将模型看作一个单独的黑盒子。在机器翻译应用程序中，它将使用一种语言的一个句子，然后输出另一种语言的翻译。打开the transform

1. 为什么需要 Normalization1.1 独立同分布与白化机器学习界的炼丹师们最喜欢的数据有什么特点？窃以为，莫过于“独立同分布”了，即independent and identically distributed，简称为i.i.d.独立同分布并非所有机器学习模型的必然要求（比如 Naive Bayes 模型就建立在特征彼此独立的基础之上，而Logistic Regression 和 神经网络 则在非独立的特征数据上依然可以训练出很好的模型），但独立同分布的数据可以简化常规机器学习模型..

文章提供两个有关 reptile 工作过程的解释：leading order expansion of the update这部分我们会使用泰勒展开去近似 reptile 和 MAML 的更新过程。接下来我们将会看到两种算法都包括同样的两个组成部分：第一项负责最小化期望损失，第二项负责最大化任务内的泛化，具体来讲就是如果来自不同 batch 的梯度的点积为正值，那么在这个 batch 的表现提高同样也会提高另一个 batch 的表现，否则一个提高一个下降最后的结果就会为负，这样就变相的相当于是提高了针

MAML在学术界已经是非常重要的模型了，论文Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks自2017年发表至今已经收获了400+的引用。由于当前网上关于MAML的中文介绍少之又少，可能很多小伙伴对其还不是特别理解。所以今天我整理了这段时间来的学习心得，与大家分享自己对MAML的认识与理解。MAML可以用于Supervised Regression and Classification以及Reinforcement Learn

1 模型结构这是来自ACL2016的论文，它修改基本的端到端结构，使其可以更好的存储QA所需的先验知识。其结构如图所示。从上图可以看出key embedding和value embedding两个模块跟端到端记忆网络里面的Input memory和Output memory两个模块是相同的，不过这里记忆是使用key和value来表示。而且每个hop之间有R矩阵对输入进行线性映射。此外，求每个问题时会进行一个key hashing的预处理，从知识源里选择出与之相关的记忆，然后再进行模型的训练。这个模型

机器翻译质量评测算法-BLEU机器翻译质量评测算法-BLEU什么是BLEU？ 为什么要用BLEU？ BLEU的原理是什么？ 怎么使用BLEU？ BLEU的优缺点？ 最后 参考文章本文介绍机器翻译领域针对质量自动评测的方法-BLEU，让你理解为什么BLEU能够作为翻译质量评估的一种指标，它的原理是什么，怎么使用的，它能解决什么问题，它不能解决什么问题。什么是BLEU？BLEU (Bilingual Evaluation Understudy) is an algorith.

本文介绍一种神经网络的可视化方法：积分梯度（Integrated Gradients），它首先在论文 Gradients of Counterfactuals[1] 中提出，后来 Axiomatic Attribution for Deep Networks[2] 再次介绍了它，两篇论文作者都是一样的，内容也大体上相同，后一篇相对来说更易懂一些，如果要读原论文的话，建议大家优先读后一篇。当然，它已经是 2016-2017 年间的工作了，“新颖”说的是它思路上的创新有趣，而不是指最近发表。所谓可视..

这是一篇ACL2017的论文，偏工程性，模型实用性强，容易复现同时性能也好，作者也都是大牛(大家如果上过cs224n的课，应该对Manning教授不陌生吧)摘要在生成式摘要任务中，对于传统的seq2seq+attention的模型架构，作者提出它们有以下缺点:难以准确复述原文细节无法处理原文中的未登录词(OOV)在生成的摘要中存在一些重复的部分此文提出了一种新颖的架构来增强标准的seq2seq+attention模型，采用了两种正交(互相之间不存在交集)的新颖手段:使用指针生成器网络(p

Dynamic Time Warping（DTW）诞生有一定的历史了（日本学者Itakura提出），它出现的目的也比较单纯，是一种衡量两个长度不同的时间序列的相似度的方法。应用也比较广，主要是在模板匹配中，比如说用在孤立词语音识别（识别两段语音是否表示同一个单词），手势识别，数据挖掘和信息检索等中。一、概述 在大部分的学科中，时间序列是数据的一种常见表示形式。对于时间序列处理来说，一个普遍的任务就是比较两个序列的相似性。 在时间序列中，需要比较相似性的两段时间序列...