实习学习笔记
关注
分享
扫一扫
睡熊猛醒
千里之行，始于足下。
展开
-
一些针对NLP深度学习的最佳实践技巧
首先声明，这篇文章并不是要跟踪最新技术，而是要收集与广泛任务相关的最佳实践。换句话说，该文章不是描述一个特定的体系结构，而是旨在收集构成成功的体系结构的功能。尽管这些功能中的许多功能对于推动最新技术最有用，但我希望对它们的广泛了解将导致更强大的评估，与基准的更有意义的比较以及通过塑造我们对工作原理的直觉而获得启发。词嵌入词嵌入的最佳维数主要取决于任务：较小的维数对语法较多的任务（如命名实体...翻译 2020-01-03 10:36:09 · 777 阅读 · 0 评论 -
斯坦福NLU笔记之情感分析
1.情绪分析的一般实用技巧分词介绍了三种分词：Whitespace tokenizer, 就是空格分词。Treebank tokenizer, 斯坦福大学的树状分词。Sentiment-aware tokenizer, 情感感知分词器，隔离表情符号，使用基础标记，在看起来有意义的地方保留大写... ...（A good start: nltk.tokenize.casual.T...原创 2020-01-02 16:14:51 · 862 阅读 · 0 评论 -
Key Fact as Pivot: A Two-Stage Model for Low Resource Table-to-Text Generation 论文翻译
以关键事实为枢轴：一种两阶段的低资源的表格到文本生成模型摘要表到文本生成旨在将结构化数据转换为非结构化文本。 大多数现有方法采用编码器 - 解码器框架来学习转换，这需要大规模的训练样本。 然而，缺乏大并行数据是许多领域的主要实际问题。 在这项工作中，我们考虑低资源表到文本生成的情况，其中只有有限的并行数据可用。 我们提出了一种新的模型，将这一代分为两个阶段：关键事实预测(key fact ...翻译 2019-08-09 15:13:23 · 976 阅读 · 5 评论 -
Key Fact as Pivot: A Two-Stage Model for Low Resource Table-to-Text Generation 论文代码解析
1.数据处理部分原始文本处理table2entity2text.py举例：原始数据的一个句子键值对name_1:walter name_2:extra image:<none> image_size:<none> caption:<none> birth_name:<none> birth_date_1...原创 2019-08-22 17:21:59 · 477 阅读 · 3 评论 -
Data-to-Text Generation with Content Selection and Planning 阅读笔记
原文：https://arxiv.org/pdf/1809.00582.pdf代码：https://github.com/ratishsp/data2text-plan-pyAbstract数据到文本生成的最新进展已经导致使用大规模数据集和神经网络模型，这些模型是端到端训练的，没有明确地模拟说什么和按什么顺序。 在这项工作中，我们提出了一个神经网络架构，其中包含内容选择和规划，而不会牺...翻译 2019-09-12 15:34:51 · 2108 阅读 · 1 评论 -
Bootstrapping Generators from Noisy Data 论文笔记
摘要统计数据到文本生成的核心步骤涉及结构化数据表示和相关文本之间的学习对应关系。 在本文中，我们的目标是从大规模数据集中引导生成器，其中数据和相关文本松散地对齐。 我们通过引入专用内容选择机制来应对这一具有挑战性的任务。 我们使用多实例学习来自动发现数据和文本对之间的对应关系，并展示如何在训练编码器 - 解码器架构时使用这些对应来增强内容信号。实验结果表明，使用内容特定目标训练的模型改进了标准...翻译 2019-09-16 16:09:43 · 358 阅读 · 0 评论 -
End-to-End Content and Plan Selection for Data-to-Text Generation 论文笔记
摘要学习使用神经网络从结构化数据生成流畅的自然语言已成为NLG的常用方法。 当结构化数据的形式在示例之间变化时，该问题可能是具有挑战性的。 本文介绍了序列到序列模型的几种扩展的调查，以考虑潜在内容选择过程，特别是拷贝注意力机制和覆盖解码的变体。 我们进一步提出了一种基于多种集成的训练方法，以鼓励模型在训练期间学习不同的句子模板。 对这些技术的实证评估表明，生成的文本质量在五个自动度量标准以及人...翻译 2019-09-20 16:56:17 · 533 阅读 · 0 评论 -
Data2Text文本生成演化之路
最近看了很多这方面的论文，尝试做个总结。早期发展路线早期的文本生成系统多是基于规则的，Reiter等对规则系统进行了归纳总结【1】，认为文本生成系统可以分为三个较为独立的模块：（1）内容规划（Content planning），即选择描述哪些数据记录或数据域；（2）句子规划（Sentence planning），即决定所选择的数据记录或数据域在句子中的顺序；（3）句子实现（Surface ...原创 2019-09-20 17:31:44 · 5164 阅读 · 2 评论 -
Get To The Point：Summarization with Pointer-Generator Networks 论文笔记
摘要神经序列到序列模型为抽象文本摘要提供了一种可行的新方法（这意味着它们不仅限于从原始文本中简单选择和重新排列段落）。 但是，这些模型有两个缺点：它们易于错误地再现事实细节，并且倾向于重复自己。在这项工作中，我们提出了一种新颖的体系结构，该体系结构以两种正交方式增强了标准序列间注意模型。 首先，我们使用混合指针生成器网络，该网络可以通过pointing从源文本中复制单词，这有助于准确地复制信息...翻译 2019-09-22 11:11:17 · 755 阅读 · 0 评论 -
XGBoost vs. LightGBM （秋招面试复习）
1.XGBoost详解XGboost模型简介XGboost是一个监督模型，基模型是一堆CART树。xgboost为什么使用CART树而不是用普通的决策树呢？简单讲，对于分类问题，由于CART树的叶子节点对应的值是一个实际的分数，而非一个确定的类别，这将有利于实现高效的优化算法。xgboost出名的原因一是准，二是快，之所以快，其中就有选用CART树的一份功劳。知道了xgboost的模型...原创 2019-07-23 23:20:48 · 1350 阅读 · 0 评论 -
RNN结构，双向LSTM，Transformer， BERT对比分析
最近接到一些秋招面试，发现自己对于好多网络结构都模糊了，刚好最近在调研模型，就趁这个机会把之前的常见模型知识梳理一下。主要参考文档：https://jalammar.github.io/illustrated-transformer/https://blog.youkuaiyun.com/jojozhangju/article/details/519822541.Recurrent Neura...原创 2019-07-19 10:01:56 · 25785 阅读 · 1 评论 -
Findings of the E2E NLG Challenge 阅读
论文链接：https://arxiv.org/pdf/1810.01170v1.pdf摘要本文总结了口语对话系统中端到端（E2E）自然语言生成（NLG）的第一个共享任务的实验设置和结果。 最近的端到端生成系统很有前途，因为它们减少了对数据注释的需求。 但是，它们目前仅限于小型的去词汇化(delexicalised)数据集。E2E NLG共享任务旨在评估这些新方法在学习了包含更高词汇丰富度，...翻译 2019-05-22 14:30:14 · 656 阅读 · 0 评论 -
Lightgbm处理多分类代码
数据train_x, test_x, train_y, test_y = train_test_split(data, target, shuffle = True, random_state = 2019)X_train = train_x.valuesX_test = test_x.valuesy_train = train_y.valuesy_test = test_y.val...原创 2019-05-24 08:58:53 · 19736 阅读 · 15 评论 -
A Deep Ensemble Model with Slot Alignment for Sequence-to-Sequence Natural Language Generation 论文笔记
A Deep Ensemble Model with Slot Alignment for Sequence-to-Sequence Natural Language Generation<<具有槽对齐的深集合模型用于序列到序列的自然语言生成>>论文阅读摘要自然语言生成是生成对话系统和会话代理的核心。 我们描述了一个集成的神经语言生成器，并提出了几种新的数据表示...原创 2019-05-29 21:23:57 · 738 阅读 · 0 评论 -
tensorflow使用CNN中实现文本分类
- 本文翻译自WILDML的博客Implementing a CNN for Text Classification in TensorFlow- 博客地址：http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow/- github地址：https://github.com...翻译 2019-06-03 14:52:47 · 1096 阅读 · 2 评论 -
LSTM处理多分类问题
最近由于项目需求，尝试各种模型实现多分类。# coding=gbkimport numpy as npimport pandas as pdimport tensorflow as tffrom sklearn.model_selection import train_test_splitdata = pd.read_csv('data/sample.csv', header=0...原创 2019-06-03 14:54:13 · 20103 阅读 · 9 评论 -
Tensorflow Wide and Deep模型实现多分类
改数据形式问题改了半天。。。要了解原理的朋友出门右转：TensorFlow Wide And Deep 模型详解与应用# coding = gbk"""Example code for TensorFlow Wide & Deep Tutorial using TF.Learn API."""from __future__ import absolute_importfro...原创 2019-06-03 14:58:00 · 1425 阅读 · 1 评论 -
Data2Text Studio: Automated Text Generation from Structured Data 论文笔记
Data2Text Studio从结构化数据生成自动文本原文链接：https://pdfs.semanticscholar.org/79dd/2ee41e4a7de3b3142fea43b8c48d20224ef2.pdf摘要Data2Text Studio是一个从结构化数据生成自动文本的平台。 它配备了Semi-HMMs模型，可以自动从并行数据中提取高质量的模板和相应的触发条件，从而...原创 2019-06-15 20:54:18 · 1524 阅读 · 1 评论 -
Sequence-to-Sequence Generation for Spoken Dialogue via Deep Syntax Trees and Strings 阅读笔记
摘要我们提出了一种基于序列到序列方法的自然语言生成器，可以训练它来生成自然语言字符串以及来自输入对话行为的深层语法依赖树，并且我们使用它直接比较具有单独句子规划和表面实现的两步生成方法和一个联合的，一步到位的方法。 我们能够使用非常少的训练数据成功训练两种设置。 联合设置提供了更好的性能，在基于ngram的分数方面超越了最先进的技术，同时提供了更多相关的输出。简介在口语对话系统（SDS...翻译 2019-06-21 11:28:12 · 462 阅读 · 0 评论 -
Self-Attention with Relative Position Representations 解读
原文地址：https://www.jianshu.com/p/cb5b2d967e90论文链接：Self-Attention with Relative Position Representations非递归的模型（attention，CNN等）并没有考虑输入序列中元素的顺序，因此在很多任务中可能需要显式地编码位置信息。这篇文章将元素与元素之间的相对位置表示引入了self-attentio...转载 2019-06-11 22:36:23 · 6721 阅读 · 1 评论 -
E2E NLG Challenge: Neural Models vs. Templates 论文笔记（附模型代码）
原文链接：http://www.macs.hw.ac.uk/InteractionLab/E2E/final_papers/E2E-UKP_TUDA.pdfAbstractE2E NLG Challenge是一项共享任务，用于根据键值对生成餐馆描述。 本文描述了我们参与挑战的结果。 我们开发了一种简单而有效的神经编码器 - 解码器模型，可以产生流畅的餐厅描述并且优于强大的基线。 我们进一步...翻译 2019-07-03 14:59:04 · 2076 阅读 · 0 评论 -
Pragmatically Informative Text Generation 论文理解（附代码）
原文地址：https://arxiv.org/pdf/1904.01301v2.pdfGithub代码：https://github.com/sIncerass/prag_generation摘要我们使用计算语用学技术改进了条件文本生成模型的信息量。 这些技术将语言生成形成为说话者和听众之间的游戏，其中说话者应该生成输出文本，听者可以使用该输出文本来正确识别文本描述的原始输入。 虽然这...原创 2019-07-19 09:49:58 · 963 阅读 · 0 评论 -
对话系统中的NLG
1.简介对话系统按功能来划分的话，分为闲聊型、任务型、知识问答型和推荐型。在不同类型的聊天系统中，NLG也不尽相同。1.1闲聊型对话中的NLG就是根据上下文进行意图识别、情感分析等，然后生成开放性回复；1.2任务型对话中的NLG就是在NLU（领域分类和意图识别、槽填充）、DST、DPL的基础上，根据学习到的策略来生成对话回复，一般回复包括，澄清需求、引导用户、询问、确认、对话结束语等。...转载 2019-05-20 15:24:49 · 3419 阅读 · 0 评论