MaYingColdPlay的博客

对于常规句子来说，不是窗口越大越好，因为窗口太大的话，句子之间就没有前后依赖关系了。但是对于特定场景，比如用户偏好，每个用户的item之间存在强依赖关系，这种情况下，窗口越大越好。经过验证，窗口越大，训练速度越慢。3.mincount，取词的最小值。1.训练语料大小，最好在上千万样本。

梦想做个翟老师：阿里：Behavior Sequence Transformer 解读48 赞同 · 7 评论文章。优点:捕捉用户行为历史序列中的顺序信息。w2v也是捕捉用户序列信息的,本质差异在于啥？添加图片注释，不超过 140 字（可选）

cnn和lstm原理

跷跷板现象 参数硬共享和软共享 mmoe的优点缺点 ple的优点缺点 xdeepfm

Grad Norm https://mp.weixin.qq.com/s/RIxxtMqdb6yJKLorg_WjrA https://www.cnblogs.com/douzujun/p/14633524.html 多任务学习的多个权重改如何调节 梯度修剪

transformer ESMM MMOE

din是把nlp里面的注意力机制引入了推荐模型里面，就是模型表达的时候，对用户不同行为的注意力是不一样的，“相关”的行为历史看重一些，“不相关”的历史甚至可以忽略。 实际上就是把用户兴趣序列和当前物品做一个加权，使得用户更感兴趣的物品权重大一些。具体实现的时候是 ......

deepfm fm的复杂度 https://zhuanlan.zhihu.com/p/145436595 demo实现 我的git上FM_models/deepfm_学习.ipynb xdeepfm

1.tensorflow tensorflow.org https://www.tensorflow.org/api_docs/python/tf/keras/layers/Dropout?hl=zh-cn 2.keras https://keras.io/guides/

https://zhuanlan.zhihu.com/p/35062508 https://zhuanlan.zhihu.com/p/25005808 1.梯度消失和梯度爆炸 根源是神经网络的天然属性决定的：反向传播，链式求导。 https://blog.youkuaiyun.com/qq_25737169/article/details/78847691 2.BN bn本质上是为了解决梯度消失和...