论文阅读：One Embedder, Any Task: Instruction-Finetuned Text Embeddings

1. 优势

现存的emmbedding应用在新的task或者domain上时表现会有明显下降，甚至在相同task的不同domian上的效果也不行。这篇文章的重点就是提升embedding在不同任务和领域上的效果，特点是不需要用特定领域的数据进行finetune而是使用instuction finetuning就可以在不同的任务和领域上表现得很好。新提出的模型被叫做INSTRUCTOR，进行instruction finetuning所用的数据集是MEDI

Paper，Code，Leaderboard，Checkpoint，Twitter，Data

2. INSTRUCTOR结构

• 基于single encoder architecture，参考：Leveraging Passage Retrieval with Generative Models
  for Open Domain Question Answering
• 使用GTR模型（Generalizable T5-based dense Retrievers）作为encoder骨架。GTR模型是用T5模型初始化的，在web corpus上做预训练，在information search datasets上做finetune。
• GTR模型