m0_72806612的博客

目前，大多数的推荐系统还是由级联的排序策略组成，即召回、粗排、生成式推荐以自回归的方式直接生成物品的语义idtransformer架构模型做生成式检索或推荐，主流还是基于encoder-decoder架构的模型，onerec是一个做生成式推荐的模型，以query或者用户特征、行为序列为输入，是做检索或者推荐的区别所在。其核心如下：（1）架构为encoder-decoder，以用户历史行为序列为输入，逐渐解码为可能感兴趣的推荐视频，采用稀疏MOE的架构，在一定的资源限制下方便扩展模型能力。

T5是基于Encoder-Decoder结构的Transformer的模型，对经典的Transformer做了三个带动。其核心将NLP任务看作一个序列到序列的统一框架，做大规模的预训练，主打通用。最大将模型做到11B，基本上是Encoder-Decoder模型能够承受其训练成本的最大化，后文会引用另一位博主的分析为什么这种架构很难做得更大（区别于Decoder-only）区分任务的方式在于将输入的开头加入任务的描述，比如翻译、总结：2020年年初投稿。

针对的任务：生成式检索：主要做的事情是使用参数模型，根据相关文档来预测他们的标识符（docid）。此任务尚且存在的问题：目前，针对此类任务的方法都是基于静态的文档集合的。在很多实际场景中，文档集合是动态的，新的文档被持续地添加进文档库。因此，在应用生成式检索时，需要具备增加新索引的同时具备保留回答检索的能力。（重新训练的话耗费太大）本篇解决上述问题，对生成式检索主要做出了两大贡献：1.提出增加乘积量化根据两种阈值以将新的文档以很低的代价编码成文档id。

生成式检索根据给定的查询，自回归地检索相关的文档标识符，在小规模的文档库中表现不错，通过使用模型参数记忆文档库，生成式检索实现了查询和文档之间的深层次交互。但是，这种记忆机制存在一些问题：1.对文档的细粒度特征记忆准确性不足2.当文档库规模变大时，记忆混淆情况加重3.新文档加入时记忆力更新的耗费很大，因为当新的文档到来时，文档聚簇树需要被更新，模型也需要被再次训练来记住所有的文档。本论文中，作者提出生成式稠密检索范式，从粗到细粒度的匹配路径上，利用稠密检索和生成式检索两种方式进行优劣互补。

信息检索系统将query映射为整型或者字符串形式的document identifiers（docid），通常分为检索和排序两步。本文介绍将信息检索融入Transformer的参数中的开篇之作——DSI，提出了一种新的序列到序列的学习系统架构范式直接将query映射为整型或者字符串形式的document identifiers（docid）