注:基本来源于CS224n-2019的第15课件,在6月下旬学到了第14课并完成了assignment1-4,后面因为一些原因断断续续的看的并不仔细,恰好7月初暑假开始找了一些开源项目学习学习(中文-NER,情感分析)。练完之后觉得是时候再去好好看看课程了,第15个课件是博士生Abigail see在nlg方面上研究现状的概述以及个人经验分享--------------------------------2019-07-17
cs224n官网链接
NLG(natural language generation)
• Machine Translation
• (Abstractive) Summarization
• Dialogue (chit-chat and task-based)
• Creative writing: storytelling, poetry-generation
• Freeform Question Answering (i.e. answer is generated, not extracted from text or knowledge base)
• Image captioning 【 ( : 】
• …
Section-1,LMs and decoding algorithms
1-1,Language Modeling-【LM】语言模型:
给定前 t 个 单词/语句预测第t+1个单词/语句的任务
p ( y t + 1 ∣ y 1 , . . . y t ) p(y_{t+1}|y_1,...y_t) p(yt+1∣y1,...yt)
1-2,Conditional Language Modeling 条件语言模型:
同上,但有另外的输入x
p ( y t + 1 ∣ y 1 , . . . y t , x ) p(y_{t+1}|y_1,...y_t,x) p(yt+1