orangerfun的博客

作者使用喜好建模和基于人工反馈的强化学习去微调语言模型，使其像助力一样有帮助的和无害的。作者发现这种对齐式的训练几乎能够提高所有NLP任务上的表现，并且完全能够兼容一些特殊任务，如使用python编码，文本摘要等。我们使用了一种迭代式的在线模型训练方式，每周都会用新的人工反馈数据来更新奖励模型和强化学习策略（个人理解：人工标注–>训练一个模型–>产生新数据–>基于产生的数据人工标注–>新数据再训练模型…如此迭代下去），这非常有效的改善了我们的数据集和模型。

关于sentence embedding 的综述：sentence bert, bert-flow, bert-whitening, simcse

1. Intro模式分类最古老和最简单的方法之一是k近邻(k-nearest neighbors, kNN)算法。kNN算法通过训练集中k个最近邻的多数标签对每个未标记的例子进行分类。尽管它很简单，但kNN算法经常产生很好的结果，并且在某些领域，当巧妙地与先验知识相结合时，它可以产生非常好的结果。根据其决策规则的本质可知，kNN分类的性能关键在于不同样本之间的距离的计算方式。当没有先验知识可用时，kNN的大多数实现是计算简单的欧几里得距离。不幸的是，欧几里得距离忽略了那些可以从大量带标签的样本中估计出来

1. Abstract距离度量学习（DML）用于学习嵌入，其中来自同一类别的示例比来自不同类别的示例更接近。 可以将其转换为具有三重态约束的优化问题。 由于存在大量三元组约束，因此DML的采样策略必不可少。随着深度学习在分类领域的巨大成功，它已被应用于DML。 当使用深度神经网络（DNN）学习嵌入时，每次迭代仅可获得一小部分数据。三重约束的集合必须在小批次中采样。 由于小批量无法很好地捕获原始集合中的邻居，因此使学习到的嵌入次优。相反，使用DNN优化作为分类损失的SoftMax损失在某些DML任务中表现出

ESIM是一个综合应用了BiLSTM和注意力机制的模型，在文本匹配中效果十分强大.文本匹配说就是分析两个句子是否具有某种关系，比如有一个问题，现在给出一个答案，我们就需要分析这个答案是否匹配这个问题，所以也可以看成是一个二分类问题（输出是或者不是）。现在主要基于SNIL和MutilNLI这两个语料库，它们包含两个句子premise和hypothesis以及一个label，label就是判断这两个句子的关系，本文主要讲解的就是如何利用ESIM分析这个问题。1. 简介ESIM模型主要是用来做文本推理的，给

1. Introduction在多领域对话中，用户通常在对话中请求不同的服务。在这种情况下，要求对话系统在所有这些服务之间无缝运行，这使DST更具挑战性。只有当对话状态跟踪器准确地估计不同域之间的对话状态时，对话系统才能为后续的动作选择做出正确的判断。在这种情况下，第八届“对话系统技术挑战赛”中提出了“模式指导的对话状态跟踪”赛道。在这场竞赛中，使用模式指导的方法预定义了一系列服务。每个域中的不同开发人员提供不同的服务。每个服务的意图和槽位都附有一个用自然语言来描述其语义的句子，该句子的语义可以被系统识别

1. 概述两种方法：基于信息检索的问答系统 IR-based question answering 和 基于知识的问答系统 knowledge-based question answeringIR-based question answering：给一个用户的问题，首先通过信息检索方法找到相关的文档或短文，然后使用阅读理解算法阅读这些被检索到的文档直接由span of text产生一个答案。knowledge-based question answering该系统并非是构建问题的语义表示（向量）

paper link: Cluster-based Beam Search for Pointer-Generator Chatbot Grounded by Knowledge1. intro本文研究的问题如下：给定一段对话历史和一些与对话相关的文章片段，目标是生成有意义的、与给定背景信息密切相关的答复，本文重点关注的是以下三个方面：对话历史建模如何充分使用非结构化的外部知识生成回复的多样性和相关性本文的主要贡献在于：提出了一个泛化的指针生成机制(pointer generator)，