qq_62615708的博客

Meta提出生成式推荐的开山之作HSTU，将用户行为序列视为语言，通过改造的Transformer架构进行推荐。HSTU将用户交互拆解为物品和动作的Token序列，并引入门控注意力替代FFN以降低计算开销。在召回阶段生成用户兴趣向量进行最近邻查找，排序阶段则采用目标感知方式预测用户对候选物品的反应。该方法通过统一离散特征空间，实现了对用户行为的深度建模，显著提升了推荐效果。关键创新包括去除Softmax保留原始兴趣强度，以及引入相对注意力偏置捕捉时序衰减特性。

本文介绍了残差量化自编码器(RQ-VAE)在生成式推荐系统中的应用。作为VQ-VAE的改进版本，RQ-VAE通过多层级联的残差量化机制，有效解决了传统方法需要超大码本的瓶颈问题。文章详细阐述了RQ-VAE的工作原理、训练过程中的梯度处理(STE技术)以及损失函数设计，特别强调了码本损失和承诺损失在防止码本坍缩中的关键作用。最后指出RQ-VAE可将商品特征转化为离散token序列，为下游LLM提供结构化输入，为后续介绍TIGER等生成式推荐系统奠定基础。全文以技术原理为主线，兼顾实践应用，为推荐系统领域的研究

从零开始的推荐系统学习笔记Part.2

从零开始的推荐系统学习笔记，适合了解过DL的人群