深度解析论文 基于 LSTM 的 POI 个性化推荐框架

Abstract

Question

目前针对 POI 推荐, 已经有部分算法提出, 但是他们受限于自身的局限性,都不能完美的糅合 POI 场景中的所有信息.

Method

POI-LSTM 借鉴 Embedding 的思想, 对用户信息、好友关系、POI 信息和评论信息进行向量化后, 输入到神经网络中, 同时利用 LSTM 捕捉用户的兴趣特征和兴趣的变化趋势, 最终能够在不同的输入层拟合社交网络信息和语义信息, 同时利用 用户历史行为的时间和地理位置信息来为用户推荐下一个兴趣点.

Model

在这篇文章中, 我们扩展了长短时记忆循环神经网络 (Long-ShorT Memory recurrent neural networks, LSTM), 提出一种全新的推荐框架 POI-LSTM 来解决 POI 推荐问题.

Introduction

作者为什么研究这个课题?

① 智能手机的普及,定位技术的发展
② LBSN应用的普及
③ 信息的增多, 使得 POI 推荐变得更加容易.
④ 现有模型由于其本身缺陷, 都不能完美的糅合 POI 场景中的所有信息.

参考模型介绍

① word2vec

word2vec模型其实就是简单化的神经网络。（不明白神经网络的请自行搜索）

输入是One-Hot Vector，Hidden Layer没有激活函数，也就是线性的单元。Output Layer维度跟Input Layer的维度一样，用的是Softmax回归。当这个模型训练好以后，我们并不会用这个训练好的模型处理新的任务，我们真正需要的是这个模型通过训练数据所学得的参数，例如隐层的权重矩阵。

这个模型是如何定义数据的输入和输出呢？一般分为CBOW(Continuous Bag-of-Words 与Skip-Gram两种模型。CBOW模型的训练输入是某一个特征词的上下文相关的词对应的词向量，而输出就是这特定的一个词的词向量。　Skip-Gram模型和CBOW的思路是反着来的，即输入是特定的一个词的词向量，而输出是特定词对应的上下文词向量。CBOW对小型数据库比较合适，而Skip-Gram在大型语料中表现更好。

②CBOW模型

Skip-Gram模型
CBOW(Continuous Bag-of-Words)
CBOW的训练模型如图所示

1 输入层：上下文单词的onehot. {假设单词向量空间dim为V，上下文单词个数为C}
2 所有onehot分别乘以共享的输入权重矩阵W. {VN矩阵，N为自己设定的数，初始化权重矩阵W}
3 所得的向量 {因为是onehot所以为向量} 相加求平均作为隐层向量, size为1N.
4 乘以输出权重矩阵W’ {NV}
5 得到向量 {1V} 激活函数处理得到V-dim概率分布 {PS: 因为是onehot嘛，其中的每一维斗代表着一个单词}
6 概率最大的index所指示的单词为预测出的中间词（target word）与true label的onehot做比较，误差越小越好（根据误差更新权重矩阵）
所以，需要定义loss function（一般为交叉熵代价函数），