LZJ209的博客

本文仅为个人对论文的一点理解，如果有不对的地方烦请指正 戳我看论文原文 论文背景 \quad 智能助手例如Alexa，Siri，Google Duplex的应用越来越广泛，它非常重要的任务是Dialog state tracking(DST)，也就是追踪用户的目的，有了这些信息，智能助手再去决定如何与人类交流。 \quad 在slot-based dialog system中，对话的状态被视为槽位...

本文仅为个人对论文的一点理解，如果有不对的地方烦请指正 戳我看论文原文 论文背景 1.战略对话任务（谈判）：模型有着一定的任务，通过生成语言来与其它模型进行谈判，最终达到自己利益的最大化。 2.该任务上的强化学习：先训练模型的语言能力，然后利用强化学习增强模型的决策能力，希望模型学会如何决策，从而生成带有策略的回复。 3.朴素的强化学习势必会让模型慢慢的偏离人类语言。 4.贝叶斯推断和蒙特卡洛树搜...

很多sequence-to-sequence模型都容易生成安全但不包含很多信息的回复。

本文仅为个人对论文的一点理解，如果有不对的地方烦请指正 戳我看论文原文 论文背景 \quad 机器阅读理解(machine reading comprehension)是NLP领域中一个很有代表性的任务，大体形式是给AI一些信息，向它提出问题，希望其理解文本内容并找到问题的答案。 \quad 用多轮对话的形式来进行问答是当下机器阅读理解当中一个非常重要的任务，这样的情景更接近于真实的应用环境（对于...

本文仅为个人对论文的一点理解，如果有不对的地方烦请指正 戳我看论文原文 前置知识 1.大型预训练模型如GPT2的构造、原理、训练过程 2.Huggingface做的对大型预训练模型进行的fine-tune过程 戳我看论文 如果这两个知识你都有了解的话这篇论文就不难理解了。 论文背景： \quad 1.为了让对话模型生成出更加human-like的回复，给模型以特定的性格背景等作为参考信息是必要的...