Young, Simple, Naive

Windows 安装 DeepSpeed

InstructGPT: SFT + RLHF with PPO（目标函数：RM - KL+PTX objective）

通过标注数据微调和工具调用来提升对话模型的 safety 和 groundedness

使用强化学习微调总结生成模型

西安雁塔未来人工智能计算中心的算力大概花了多少钱

在人类偏好上训练奖励模型，然后使用强化学习微调预训练语言模型

与 Isomap 试图保持近邻样本之间的距离不同，局部线性嵌入（Locally Linear Embedding, 简称 LLE）试图保持邻域内样本之间的线性关系。西瓜书 10.5.2 节 局部线性嵌入。表示要求特征向量是单位向量）。则式 (10.29) 可重写为。LLE 在低维空间（维度为。进行特征值分解后最小的。个特征值对应的特征向量（LLE 先为每个样本。

让机器人在对话中学习

在西瓜书 10.4 节 “核化线性降维” 中，引入了一个映射函数。是高维空间中的一个标准正交基。映射到高维特征空间中，即。的具体形式，于是引入核函数。由前文中的推导可以得到。一般情形下，我们不清楚。

Rasa 中的 Transformer Embedding Dialogue (TED) 对话策略

通过 MH 采样实现带约束的句子生成

Source Domain -> DRF -> Example-specific Prompt -> Unseen Domain

其实都有 HIPS/autograd 血统

仅使用标准的 dropout 作为噪声

数据增强+对比学习+MLM

使用自监督对比学习来学习文本表示

IS-BERT: 基于句子表示与局部 n-gram 表示互信息最大化来进行无监督句子表示学习

将预训练 sentence encoders 集成到 sentence meta-embeddings 中，解决无监督 STS 任务。

MV-DASE 基于 GCCA 合并了多种不同的 embedding

DAML

Abstract概述了 TAC2014 Knowledge Base Population (KBP) evaluation 中的的词槽填充赛道 （English Slot Filling (SF) track）。KBP 旨在促进从自由文本中提取命名实体和数值型实体之间的二元关系的研究。今年（2014）的主要变化是：包含歧义查询接受通过推断得到的输出对任务和输入格式的简化，移除了 query 中实体对于知识库的引用最高得分为 36.72 F1，中位数为 19.80 F1。1 Introd

使用大型预训练语言模型生成语义文本相似度数据集

NLP 之路

有限的标注数据也能带来很好的性能

prompt-based learning 综述

LAMA is a probe to test the factual and commonsense knowledge in language models.

对于 N 个下游任务，fine-tuning 需要 N 倍预训练模型的参数量，而 Adapter 可以只用接近 1 倍的参数量实现类似的性能。

global attention & local attention

答案抽取 + 问题生成 + roundtrip consistency

基于 attention 和 seq2seq 的问题生成

第一个 retriever 和 reader 端到端联合学习的开放领域问答系统

基于深度学习的 IR 排序模型

LambdaMART 是 LambdaRank 的提升树版本

在 RankNet 的基础上改进而来

开发领域对话比赛

基于双向语言模型的词表示

一种迁移学习的统一框架

Natural Questions 数据集上的新基线

双向自回归 Transformer，文本生成效果好

一个小而美的深度模型