qq_41747565的博客

之前用智源上面一个虚假新闻检测的比赛练了练手，数据集可以在比赛官网上下载task1。可以看成中文文本分类任务，之前只是跑了跑模型，没有关注词向量的训练以及多模型融合。目前我在细化，会不断和大家分享，相互学习，欢迎交流，结束后我会把代码更新github任务介绍虚假新闻文本检测：文本是新闻信息的主要载体，对新闻文本的研究有助于虚假新闻的有效识别。具体任务为：给定一个新闻事件的文本，判定该事件属...

原文链接1. 文章亮点提出了一个新 input 模块，使用 sentence reader 和 input fusion layer 两级编码器，信息在句子间可以流动 memory 中，使用 facts的全局知识计算现有GRU的公式中的 attention 门2. 背景介绍memory network能够推理出自然语言或三元组（主题，关系，对象）的 facts Attentio...

本篇论文是论文Attention Is All You Need (Transformer)的Tensorflow实现。在github上面找到了一个Tensorflow的实现代码，我跑了数据处理部分，模型训练我的笔记本跑不起来，所以只跑了一个step得到训练前的翻译情况和对应损失，和大家一起分析下别人跑出来的结果。具体模型可以参考我的另一篇博客参数定义：我们首先建立一个flags.py...

论文链接文章亮点文章提出了一种新的简单网络架构--Transformer完全基于Attention机制 完全免除迭代和卷积迭代模型同时考虑输入的符号位置和输出序列，这种固有的顺序特性限制了训练样例的并行化。对于较长的序列，内存更是约束了样例的批处理 Attention机制允许对依赖关系进行建模，不需要考虑他们在输入或输出序列的距离，但大多数都与递归网络结合使用Transform...

给定输入，每个RNNcell使用sigmoid函数得到隐藏状态向量。 然后我们使用隐藏状态来预测每个时间步的输出：为了训练模型，我们对每个预测的标记使用交叉熵损失：(a) i. RNN模型：有个参数，有个参数基于window的模型：有个参数ii. 预测长T的句子标签的时间复杂度：： ： ：(b)很难直接对F1进行优化F1不可微分 需要从整个...

输入序列：一个长度为T的输入序列 输出序列：长度为T的输出序列 和是one-hot向量，用于表示句子中第t个单词的索引号 ：将周围个标记连接到的左侧和右侧构造输入 通过在句首尾部加<start>和<end>，每个输入和输出具有统一的长度（和1），我们使用简单的前馈神经网络从预测作为从每个窗口预测标签的简单有效模型我们使用具有ReLU激活的单个隐藏...

这篇博客，我们实现一个基于神经网络的依赖性分析器，这是CS224n任务2的第2题。我们逐步解析，从而实现基于转移的解析。stack：当前正在处理的单词，初始化为[ROOT] buffer：尚未处理的单词，初始化为按顺序包含句子的所有单词的缓冲区 list：解析器预测的依赖关系，初始化为空[]每次迭代，解析器将转换应用于部分解析，直到buffer为空并且stack大小为1：SHIFT：...

本博客介绍了tensorflow建模过程以及一些常用的tensorflow函数TensorFlow官方文档中有很多详细介绍，我主要说了下建模过程我们将实现一个具有损失函数的线性分类器：其中是特征的行向量，是模型的权重矩阵。我们将使用TensorFlow的自动微分功能为给定数据拟合模型。(a) softmax函数的实现：（具体参考q1_softmax.py）def so...

代码链接，在原有代码做了些小的修改，适用于python3.61 Softmax (10')(a)证明在输入中加常量偏移不改变softmax：其中，实践中，我们利用该性质，取，从而得到满足数值稳定性的softmax概率(b)给定N行D列的输入矩阵，利用(a)的优化方法计算每一行的softmax预测在q1_softmax.py中定义softmaxdef softmax...

代码链接，在原有代码做了些小的修改，适用于python3.63 Word2vec (40' + 2 bonus)(a)假设中间单词c对应的向量给定，word2vec模型中利用softmax函数进行单词预测：其中代表第个单词，代表vocabulary所有单词的"output"词向量。假设用交叉熵成本进行预测且是期待的预测词（one-hot label vector的第个元素是1），对...

代码链接，在原有代码做了些小的修改，适用于python3.64 Sentiment Analysis (20')对于Stanford Sentiment Treebank数据集中的每个句子，我们使用该句子中所有单词向量的平均值作为特征，从而预测情绪水平。我们将训练softmax分类器，并执行train / dev验证以改进分类器的泛化能力。(a) 句子的特征表示：取句子中单词向量的...

Yoon Kim发表的论文Convolutional Naural Networks for Sentence Classification，前面两篇博客介绍了论文阅读的笔记，CNN在NLP中的运用以及论文具体的Tensorflow实现方法，今天对CNN模型进行分解剖析：1.输入-词向量：将句子的每一个单词转化为一个k维的词向量拼接在一起作为输入，取最大句子长度n。句子长度不够则进行补零操...

Understanding Convolutional Neural Networks for NLP卷积应用于矩阵的滑动窗口函数。滑动窗口又称内核，过滤器或特征检测器。 我们使用3×3滤波器，将其元素值与原始矩阵相乘然后相加。 通过在整个矩阵上滑动滤波器来为每个元素执行此操作获得完整的卷积。(1)用相邻值对每个像素求平均使图像模糊(2)取像素与其邻居之间的差异来检测边缘CNN...

参考：Implementing a CNN for Text Classification in TensorFlow数据集及预处理该数据集包含10,662个评论，一半正面和一半负面。 数据集的大小约为20k，由于此数据集非常小，使用功能强大的模型可能出现过拟合。 此外，数据集没有官方训练/测试的拆分，因此我们使用10％的数据作为验证集。 原始论文报告了对数据进行10倍交叉验证的结果。...

参考：论文Convolutional Naural Networks for Sentence Classification--模型介绍篇Yoon Kim发表的Convolutional Naural Networks for Sentence ClassificationAbstract1.具有少量超参数调整和静态向量的简单CNN在多个基准测试中实现了出色的结果2.通过微调学...