weiwei935707936的博客

CIKM21 One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction【applied paper，用于多领域CTR预估的自适应推荐】 如果是分类簇, 最后在每个个例上可不可以加上整个簇的embedding 共有的网络，可以学习不同domain共通的信息，而通过独有的网络，可以捕获每个domain私有的信息 数据只有在其对应的domain内被认为是独立同分布的，如果使用相

摘要: (这篇文章就觉得, 它是通过动态图解决了隐式反馈一些偶然的交互边的问题)将用户的隐式反馈重组为用户-商品交互图有助于图卷积网络(GCNs)在推荐任务中的应用。在交互图中，用户节点与商品节点之间的边作为gcns的主要元素，进行信息传播，生成信息表示。然而，一个潜在的挑战在于交互图的质量，因为观察到的交互与不太感兴趣的项目发生在隐式反馈中(比如，用户偶然浏览了微视频)。这意味着带有这种假阳性边缘的社区将受到负面影响，用户偏好的信号可能会受到严重污染。然而，现有的基于gcn的推荐模型对这一挑战的探索不

关键词: session, LSTM聚合(GGNN), 最后一个表session, local和全局 (整体流程可以抄, 更换内部组件. 就像: Global Context Enhanced Graph Neural Networks for Session-based Recommendation) 已经有item交互数据, 推断下一个是什么 session是匿名的, 并且数量有限 之前用RNN建模, 现在用GGNN(门控图神经网络) 贡献:..

一.transformer编码器transformer模型的直觉：positional encoding(位置嵌入|编码)self attention mechanism（自注意力机制与注意力矩阵可视化）layer normalization和残差连接transformer encoder整体结构二.transformer代码解读参考视频：https://www.bi...

multi-head attention： 单个attention输入后，对应有三个权重矩阵 multi-head输入后，如果有l个头，就有l×3个参数矩阵 multi-head输出的向量会串联起来，变长 不只是attention，self—attention也有多头 transformer的encoder： transformer的encoder的一层结构：multi—head attention+dense+全连接层 可...

注意力机制的计算： 要计算s_j就要先计算c_j, 要计算c_j就要先计算a_j: 将decoder当前状态s_j与m个h_i做运算得到权重向量（权重的具体计算见下） h_i，s_j 各自乘以权重矩阵W_K,W_Q k,q进行内积 经softmax 一共有三个“权重矩阵”： 在seq2seq版本注意力机制中，c的更新依靠: a和h（encoder状态） 在transformer版本的注意力机制中，c的更新依靠：a和v ..

对于SimpleRNN来说，要更新当前状态h_1 ： 将“输入”和“上一个时刻状态”拼接 乘以A，加上b，乘以双曲正切函数 对于有注意力机制的RNN来说： 将“输入”和“c_0”拼接 （剩下都一样） （也可以将三个拼接） 每一个c的算法： 注意力权重和状态 做向量内积 总结： attention是用在seq2seq模型中的，是encoder做出用于decoder。 ..

自然语言处理中的sqe2seq模型是encoder,decoder模型 如：输入英语，输出法语 X是输入，h是状态 encoder的最后一个状态h_m是decoder的输入 seq2seq模型的缺点就是，如果句子太长，模型会漏掉一些信息，准确性会下降 但是，使用了注意力机制之后，准确率会保持在一个水平上（BLEU是机器翻译模型的评价标准） 在encoder结束工作后，decoder与encoder同时开始工作 ...