Light-GCN数据集

原创已于 2022-10-31 20:48:00 修改 · 2k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#推荐算法

于 2021-12-29 19:16:57 首次发布

本文介绍了Light-GCN在Gowalla数据集上的使用情况，该数据集包含用户签到记录，每个记录包括用户ID、签到时间和地点ID等信息。为了保证数据质量，采用10核心设置，剔除了交互少于10次的用户。数据预处理阶段，只保留User-ID和Location-ID，对不足10个交互的用户进行剔除，并对ID进行重新编排，最终随机划分得到训练和测试数据集。

1>关于Light-GCN所使用的数据集----Gowalla

数据内容包括：好友关系数据集和签到数据集（好友关系数据集未使用，以下只介绍签到数据集）

图 1

在签到数据集中，每个用户的每一次签到记录作为一条记录，签到的具体属性分列表示。每条签到记录包括用户ID（User-ID）、签到时间（Check-in Time）、签到地点的维度（Latitude）、签到地点的经度（Longitude）、以及每个地区的经纬度所唯一对应的地点ID（Location-ID）。其中，用户ID一一对应每个用户，经纬度精确到小数点第六位。

数据集包括了196586个用户通过签到方式在5977758个地点上共享了6442892条行为信息。该数据记录在图1中的 loc-gowalla_totalVheckins.txt.gz 中。

因为Light-GCN所使用的数据集与NGCF的数据集相同，NGCF对Gowalla做了相应的处理。为了保证数据集的质量，他们使用了10核心设置，即保留至少有十次交互的用户和项目。

图 2

如图2所示，原数据集中的id为 48348 的用户共有6条签到记录，少于所规定的10条，所以在处理后的数据集中已被剔除。（user-list 中查不到原始id为48348的用户）

2>Gowalla原始数据的预处理

目前只用到User-ID和Location-ID两项特征，只对这两项特征进行预处理。如上文所述，对于每一个用户，若其产生交互的项目（地点）不足10个，则剔除该用户。在此基础上，对剩下的用户和项目重新编排（对ID做规整，及连续化降低后续的处理开销），得到 user_list.txt 和 item_list.txt文件。随后根据比例对数据集进行随机划分，得到 train.txt和 text.txt 文件。如图3：

图 3

继原始数据剔除处理后，对User-ID和Location-ID 重新编排，数据对应情况如下图：

图 4

图4中原始数据用户343在user-list中重新编排为0，项目8975在item-list中重新编排为0，故在train中显示，U0 与 I0 有交互。

图 5

对于用户343交互过得项目9191，在item-list中重新编排为1215，但该项目id在train中未查到与用户343的交互信息，而是在随机分配到text中，如图5所示。

10 条评论

bububula 2024.12.07
你好，我想问一下，lightGCN在github上提供的数据是不是进行处理过之后的，尤其是lastFM看到这个数据是一个三元组构成的，但是没有找到关于每个元素具体的含义标识，在哪里能够看到它处理原来的数据的方法，还有每一个数据对应的实际意义？

studyga1 2022.04.06
你好请问一下，这里的验证集和测试集按照多少比例划分的？并且userList和itemList必须第一列是原来ID，第二列重新规划ID？谢谢。
- qq_34025840回复韭菜茁壮成长 2022.06.05
  博主能分享下处理数据的代码吗，或者写篇具体怎么处理的博客，python苦手想学习一下
- studyga1回复韭菜茁壮成长 2022.04.08
  你好，是我当时弄错了。我是在数据预处理过程中，给test.txt文件中就已经加入了随机的负例。后面发现是我多此一举了，我就按照用户正粒4:1划分train:test后，直接扔进程序中执行就OK了，他程序中自己会给每个用户加负例的，我看的情况是这样的。谢谢您的回复。
- 韭菜茁壮成长回复studyga1 2022.04.08
  没毛病。你要是还没弄明白直接私聊我吧。
- 韭菜茁壮成长回复studyga1 2022.04.07
  文章使用的BPRloss需要采集正负样本，形式为[user_id, pos_item,neg_item],也就是你说的每一个用户正例都配对一个随机的负例，每一次训练都会重新采集正负样本。我给你指定一下对应的代码区域，utils.py中的UniformSample_original_python（）方法就是采集正负样本的，你自己好好看一下。
- studyga1回复韭菜茁壮成长 2022.04.07
  这是NGCF论文第六页所说：For each dataset, we randomly select 80% of historical interactions of each user to constitute the training set, and treat the remaining as the test set. From the training set, we randomly select 10% of interactions as validation set to tune hyper-parameters. For each observed user-item interaction, we treat it as a positive instance, and then conduct the negative sampling strategy to pair it with one negative item that the user did not consume before.
- studyga1回复韭菜茁壮成长 2022.04.07
  这是NGCF论文第六页所说数据划分：For each dataset, we randomly select 80% of historical interactions of each user to constitute the training set, and treat the remaining as the test set. From the training set, we randomly select 10% of interactions as validation set to tune hyper-parameters. For each observed user-item interaction, we treat it as a positive instance, and then conduct the negative sampling strategy to pair it with one negative item that the user did not consume before.
- studyga1回复韭菜茁壮成长 2022.04.07
  谢谢你的回复，它论文数据划分是参考(Neural Graph Collaborative Filtering, NGCF)论文的，4：1划分的。在这里我有个问题想问一下，它测试集数据在负采样的过程中，NGCF论文第六页说对每一个用户正例都配对一个随机采样的负例。这样的话每一个用户的测试集中应该是偶数个，但是我看他的原始数据测试集还有奇数个的。比如gowalla中tese第五个用户(4 5284 14418 26420 6988 28644)，包括了五个数据。是我理解有误吗？我已经处理好我的数据了，4:1划分train:test，然后test中每个用户有多少个正例，就随机再添加多少个负例。请问我的理解有误吗？谢谢您的回复。
- 韭菜茁壮成长回复studyga1 2022.04.07
  验证集和测试集的比例在文中没有说明，我看了一下，大致是4:1（不准确）。还有就是，他的划分是把同一个用户访问的地点划分成训练集和测试集，你应该也发现了。至于为什么要重新编排用户id和项目id，我是这样理解的。原始数据集中有很多重复的数据，再重新编排的过程中可以把重复数据进行处理，删去访问地点少于10处的数据。LCN只用到了用户id和项目id，这样也可以精简数据集，把时间和经纬度去除。至于数据集的处理代码和过程也只能猜测，感觉还是挺麻烦的。