村头陶员外的博客

博客内容将首发在微信公众号"跟我一起读论文啦啦"，上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文，欢迎关注！本次要分享的论文是来自KDD2016的工作，论文链接Structural Deep Network Embedding，（简称SDNE）参考的代码链接 CODE。本篇论文同样致力于利用图结构，获取节点的embedding representation，定义了与 LI...

本次要分享的论文是Adversarial Learning for Neural Dialogue GenerationAdversarial Learning for Neural Dialogue GenerationAdversarial\ Learning\ for\ Neural\ Dia...

本次要分享和总结的论文为：SeqGAN:SequenceGenerativeAdversarialNetswithPolicyGradientSeqGAN:\ Sequence\ Generative\ Adversarial\ Nets\ with\ Policy\ Gradient，其论文链接SeqGAN，源自AAAI−17AAAI-17，参考的实现代码链接代码实现。本篇论文

作为一名NLPlayerNLPlayerNLPlayer 初学者，或者是一名道行不是很深的NLPlayerNLPlayerNLPlayer ，很有必要细细的评读相关优秀的论文，但是如果只是读论文，而不去探索实际的代码的实现，可能无法提高代码能力，也比较难的深刻理解论文中的一些细节，所以在读完论文后，详细的分析其开源代码，了解整个的实现过程非常有必要。那么代码需要分析到什么程度呢？我的实习经历告...

本次分享的论文是鼎鼎有名的attentionisallyouneedattention\ is\ all\ you\ need，论文链接attention is all you need，其参考的tensorflowtensorflow 实现代码tensorflow代码实现。自己水平有限，在读这篇论文和实现代码时，感觉比较吃力，花了两三天才搞懂了一些，在此总结下。废话不多说，直接带着代码看论

本次要分享的论文是Attention−over−AttentionNeuralNetworksforReadingComprehensionAttention-over-Attention\ Neural\ Networks\ for\ Reading\ Comprehension，论文链接AoA，论文源自ACL2017ACL2017，参考的实现代码代码链接。 好了，老规矩，带着代码看论

本篇博文总结一些常用的优化算法。SGD最常见的优化方法是SGDSGDSGD ，基础的原理不详细讲了，讲下其缺陷。 θ=θ−η∗▿θJ(θ)θ=θ−η∗▽θJ(θ)\theta = \theta-\eta *\triangledown_{\theta} J(\theta) 1. 当学习率太小，到达最优点会很慢。 2. 当学习率太高，可能会跳过最优点，出现震荡的现象。 3. ...

因为业务需求，私下学习了些序列数据的处理算法，本文将总结ICLR2018论文：DEEP TEMPORAL CLUSTERING: FULLY UNSUPERVISED LEARNING OF TIME-DOMAIN FEATURES，论文链接DTC，参考的论文代码 DeepTemporalClustering，本论文方法是完全针对时序数据的无监督聚类算法，是第一次提出在无标签的时序数据上，建立了一...

张量介绍在tensorflowtensorflow中我们要处理的张量通常有二维，三维，甚至四维，那么该如何判断给定张量的维度呢？以及各个维度上的大小呢？简单来说，从给定张量的最外层开始，判断次外层相同等级的括号，有几对，如有nn对，则nn为该张量第一个维度上的大小，然后依次同理向内层。例如[[1,2,3],[4,5,6]][\ [1, 2, 3], \ [4, 5, 6]]的shapeshape

本篇博文将详细总结RNNLMRNNLM 的原理以及如何在tensorflowtensorflow 上实现RNNLMRNNLM。我们要实现的网络结构如下：数据预处理创建vocabvocab分词：将句子中的每个单词以空格，符号分开，形成一个单词列表def blank_tokenizer(sentence): ##以空格对句子进行切分 return sentence.strip().spl

这篇博文将详细介绍人工神经网络内部原理及其纯底层代码的详细实现。首先来聊聊什么是神经网络？ 神经网络结构大致如下： 它的最底层可以看成从逻辑回归到神经元的[感知机] 上面得出的a是介于0到1之内的值，可以作为预测值的概率值，也可以给定一个阈值，来判定得出的是正样本还是负样本。然后添加少量隐藏层=>浅层神经网络 增加中间层==>深度神经网络(DNN) 在分类问题上，传统的分类方法例如

上一篇博文中，我们对金融数据建立了GBDT模型。这篇博文将利用深度学习框架pytorch对金融数据建立一个人工神经网络模型。有关人工神经网络的详细介绍请看我的另外一篇博文人工神经网络。人工神经网络数据预处理： 不能有缺失值 移除常量型特征（即这个特征的最大值和最小值相等） 不能接受非数值形式的输入,字符型变量需要编码:One hot编码Dummy编码浓度编码变量归一化/标准化

本篇博文将大概的总结下深度学习框架pytorch的使用。张量的说明标量（Scalar）是只有大小，没有方向的量，如1，2，3等向量（Vector）是有大小和方向的量，其实就是一串数字，如(1,2)矩阵（Matrix）是好几个向量拍成一排合并而成的一堆数字，如[1,2;3,4]标量，向量，矩阵它们三个也是张量，标量是零维的张量，向量是一维的张量，矩阵是二维的张量。除此之外，张量还可以是四维的、五维等等

本篇博文将把我所学习的循环神经网络(RNN)和长短时记忆神经网络(LSTM)做一个详细的总结分析。RNN为什么会有循环神经网络传统的神经网络（包括CNN）,输入输出都是互相独立的 。但是在一些场景中，后续的输出和之前的内容是相关的。比如一段句子的输出“我在优快云上发表了一篇文_”，这里后续的输出和前面的文字有着很大的联系。传统的神经网络对这样的任务无法很好的进行预测。循环神经网络结构简单来看，就是

本篇博文将总结NLPNLP 里面的embeddingembedding，word2vectorword2vector，以及NNLMNNLM 的简介。embedding在一般任务中，我们总是非常自然的用特征值来表示一个词汇。但是，到底怎么样表示一个词，才是最合理的？ 存储其ASCIIASCII 码表示，只会告诉你这个词是什么，并不能表示这个词真正的语义（也许你可以从这个词的词缀中获得该词的词性或其他属

之前总结过RNNLMRNNLM，是一个SequenceModel，其结构类似如下：这里面是一个一个的输出。我们如果以这种方式做机器翻译，每一个时刻输入一个词，相应的翻译一个词，显然这种一个一个单词的翻译方式不是很好，因为没有联系上下文进行翻译。我们希望先把一整句话喂给模型，然后模型在这一个整句的角度上来进翻译。这样翻译的效果更好。所以本篇博文要总结的是Seq2Seq Model，给出一个完整的句子，

上一篇我们详细讲解了人工神经网络以及DNN的原理。CNN主要应用在图像处理方面。这一讲我们将详细讲解卷积神经网络CNN的原理以及在深度学习框架pytorch上的实现。在讲CNN之前我们需要了解这么几个问题？ ①人工神经网络能用到计算机视觉上吗？ 答：能 ②那么为什么还需要卷积神经网络？ 答：上一讲我们讲到人工神经网络中，每一层都是全连接，就是相邻的层之间，神经元必须两两之间彼此连接，而图像数