在cmfrec项目中利用侧信息评估推荐模型性能的方法-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_07483/article/details/148489009

在cmfrec项目中利用侧信息评估推荐模型性能的方法

cmfrec (Python, R, C) Collective (multi-view/multi-way) matrix factorization, including cold-start functionality (recommender systems, imputation, dimensionality reduction) 项目地址: https://gitcode.com/gh_mirrors/cm/cmfrec

概述

在推荐系统领域，cmfrec是一个强大的协同矩阵分解工具，特别适用于处理带有侧信息(side information)的推荐场景。本文主要探讨如何在使用侧信息的情况下，正确评估推荐模型的排序性能指标，如nDCG、召回率和精确率等。

数据准备与模型训练

在使用cmfrec进行推荐模型训练时，通常会同时利用用户评分数据和侧信息。以MovieLens数据集为例，我们可以这样构建训练数据：

# 分割评分数据
ratings_train, ratings_test = train_test_split(ratings, test_size=0.2, random_state=123)

# 分割用户侧信息
user_attr_train, user_attr_test = train_test_split(user_side_info, test_size=0.2, random_state=123)

# 分割物品侧信息
item_attr_train, item_attr_test = train_test_split(item_sideinfo_pca, test_size=0.2, random_state=123)

训练带有侧信息的模型时，代码如下：

model_cg = CMF_implicit(
    k=50, lambda_=5, niter=15, use_float=False,
    use_cg=True, finalize_chol=False,
    precompute_for_predictions=False,
    verbose=False
).fit(X=ratings_train,
      U=user_attr_train,
      I=item_attr_train)

评估指标计算的关键问题

在计算推荐指标时，常见的错误是直接使用原始ID而不进行编码转换。MovieLens数据集使用的是非零基ID，而scipy的稀疏矩阵需要零基索引。这会导致维度不匹配的错误：

ValueError: Number of users in 'A' and 'X_test' does not match.

解决方案

正确的做法是对所有ID进行编码转换，确保它们在稀疏矩阵中的位置正确对应。具体步骤如下：

创建用户ID和物品ID到矩阵行/列的映射
使用这些映射将原始ID转换为零基索引
确保训练集和测试集使用相同的映射关系

经过正确的ID编码后，就可以使用推荐系统评估工具计算各种排序指标：

metrics_cg = calc_reco_metrics(
    X_train.tocsr()[:X_test.shape[0],:X_test.shape[1]],
    X_test.tocsr(),
    model_cg.A_[:X_test.shape[0],:],
    model_cg.B_[:X_test.shape[1],:],
    k=10, all_metrics=True
)