听了个听儿

通过综述梳理一下知识体系。

对偶学习 NLU-NLG

NLG data2text对齐

结构化数据作为输入，可阅读文本文本作为输出。持续关注data2text的NLG技术~~

记录NLG中一些常见的名词

LM的roadmap。常看常新。

一种对话效果衡量方法——连贯性；

E2E挑战赛中DataDriven的方法

中文语言评测标准的建立

E2E中使用的，用以提高人工评价质量的方法。

E2E挑战赛中RuleBased代表方法。

E2E挑战赛中baseline所使用的模型。

主要介绍了MultiWOZ数据集长什么样子。

E2E挑战赛任务就是根据一堆属性生成一句自然话术。该任务使用了新的E2E数据集，有提交的62个模型（方法），所以本文对相关的方法进行了归总，每类方法选出了一些代表，并进行简单介绍。

E2E挑战赛中seq2seq方法的代表。亮点是使用了ensemble seq2seq 和reranking。

大概介绍了模仿学习的概念、LOLS-NLG过程。

文章目录一、NN之前的摘要生成技术简述1.1 抽取式模型1.1.1 pyTeaser1.1.2 LatentSemanticAnalysis1.1.3 TextRank1.1.4 分类模型1.1.5 基于序列的HMM模型1.2 生成式模型二、基于神经网络的摘要生成2.1 抽取式2.1.1 连续向量空间模型2.2.2 CNNLM一、NN之前的摘要生成技术简述1.1 抽取式模型从原始文本中提取单词和单词短语来创建摘要。1.1.1 pyTeaserpyTeaser 是Scala项目TextTease

代码GitHub地址

文章目录1 摘要2 框架结构2.1 对偶监督学习2.2 自回归的分布估计2.2.1 语言模型LM2.2.2 Masked 自编码器3 实验3.1 设置3.2 模型3.3 结果及分析4 结论1 摘要本文提出了一种新的模型结构，利用对偶学习同时优化NLU和NLG两个任务的效果。2 框架结构给定 nnn 个数据对 (xi,yi)i=1n{(x_i,y_i)^n_{i=1}}(xi​,yi​)i=1n​，NLG的目的是生成一句话，即找到一种映射关系f(x;θx→y)f(x;\theta_{x\to y})f

如何通过SVD过程找到关键句子而不是关键词

Transformer中编解码阶段attention的学习。

Strategies for Structuring Story Generation 论文阅读笔记。

本文是cs224n关于nlg系列课程中，关于NLG研究、现状和未来的一些思考。全文中肯，很多感想让人感同身受，????????????

本文是cs224n关于nlg系列课程中，关于如何评价NLG结果的介绍。主要对《Why We Need New Evaluation Metrics for NLG》评价方法做了介绍，并探讨了不同自动评价方法和人工方法一致性的问题。最后还介绍了《What makes a good conversation?How controllable attributes affect human judgments》。这篇论文中探讨了哪些人工衡量标准是可以有模型学习控制的。

本文是cs224n关于nlg系列课程中，关于【机器翻译non-auto-regressive版】的介绍。主要介绍了《Non-autoregressive Neural Machine Translation》这篇论文的想法，无具体算法剖析。

本文是cs224n关于nlg系列课程中，关于【故事生成】的介绍。主要介绍了《Deal or No Deal? End-to-End Learning for Negotiation Dialogues》、《Hierarchical Neural Story Generation》、《Strategies for Structuring Story Generation》几篇论文的想法，无具体算法剖析。

本文是cs224n关于nlg系列课程中，关于【问答式对话】的介绍。主要介绍了《A Conversational Question Answering Challenge》这篇论文的想法，无具体算法剖析。

介绍了NLG中关于对话系统的相关算法，涉及《Deal or No Deal? End-to-End Learning for Negotiation Dialogues》和《Hierarchical Text Generation and Planning for Strategic Dialogue》两篇论文大致介绍。

本文是cs224n关于nlg系列课程中，关于【摘要生成】的介绍。主要介绍了相关数据集、生成和抽取两大摘要生成方式、使用神经网络的摘要生成和不使用神经网络的摘要生成方法、及遇到的问题和解决方法，最后介绍了相关评价指标。例子来自《Summarization with Pointer-Generator Networks》和《A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION》

本文是cs224n关于nlg系列课程第一课，主要介绍了NLG相关背景、相关的语言模型和几种比较常见的解码算法。简单介绍了greedy search、beam search、sample几种解码算法。

模型训练好之后，可以利用模型计算训练数据的维特比分隔，得到抽取后的模板命令如下python chsmm.py \ -data data/labee2e/ \ -emb_size 300 \ -hid_size 300 \ -layers 1 \ -K 55 \ -L 4 \ -log_interval 200 \ -thresh 9 \ -emb_drop \ # tru...

文章目录一、数据及数据准备1.1 开源数据集E2E1.2 使用的数据1.3 数据准备二、训练过程三、模板抽取四、文本生成论文 Learning Neural Templates for Text Generation增加了个人注释的GitHub代码从四个方面来介绍代码的功能。一、数据及数据准备1.1 开源数据集E2EE2E是一个最大的餐饮领域的开源数据集。常用用于NM。就是...

文章目录数据处理相关数据说明1、dialog2、meta3、utt词库构建1、vocab及rev_vocab2、 topic_vocab及rev_topic_vocab3、 dialog_act 及 rev_dialog_act_vocabbatch准备1、batch初始化2、_prepare_batch训练及测试数据1、`meta_corpus`2、`dialog_corpus`模型-KgRnn...

文章目录之前解决文本多样性的方法1. [李继伟2016a](https://arxiv.org/pdf/1510.03055.pdf)1.1 MMI-antiLM1.2 MMI-bidi2. [VAE](https://www.aclweb.org/anthology/K16-1002)AE vs. VAE无监督句子编码VAE相关基础工作2.1 编解码模型2.2 VAE和CVAE2.3 **Sel...

文章目录1、如何去衡量优化效果？2、应用形态2.1 面向内容2.2 面向商户3、具体技术3.1 文本生成3.2 文本建模4、实践4.2 商户文案4.2.1 商户表示4.2.2 控制端实现卖点控制风格控制4.3 内容聚合多样性控制实际方法文章链接1、如何去衡量优化效果？与推荐问题相似，提升点击率、转化率在内的通用指标，同时兼顾阅读体验。如何量化阅读体验？2、应用形态2.1 面向内容...