推荐系统中的矩阵压缩

推荐系统中存在大量的数据稀疏的情况。

比如有几亿用户，几千万的商品。他们的交互数据可以用一个巨大的矩阵来表示。

直接保存这么大的矩阵，是不现实的。

在这个大大矩阵中，绝大部分都是零值。

而我们需要数据为矩阵中的非零值和非零值所在的位置，此时，我们就用到了的矩阵压缩技术。

scipy提供相应的api。

矩阵压缩可以大致分为三类：

1. 直接保存行，列，data

   
coo_matrix:    #稀疏矩阵存储方法一
row = np.array([0, 3, 1, 0])
col = np.array([0, 3, 1, 2])
data = np.array([4, 5, 7, 9])
coo_matrix((data, (row, col)), shape=(4, 4)).toarray()

array([[4, 0, 9, 0],        
        [0, 7, 0, 0],        
        [0, 0, 0, 0],        
        [0, 0, 0, 5]])

最容易理解的稀疏矩阵压缩方式，row保存数据所在行，col 保存数据所在列。data为数据

2. 按行压缩

csr_matrix:    #矩阵压缩之二
indptr = np.array([0, 2, 3, 6])
indices = np.array([0, 2, 2, 0, 1, 2])
data = np.array([1, 2, 3, 4, 5, 6])
sparse.csr_matrix((data, indices, indptr), shape=(3, 3)).toarray()
array([[1, 0, 2],
       [0, 0, 3],
       [4, 5, 6]])
# 按row行来压缩
# 对于第i行，非0数据列是indices[indptr[i]:indptr[i+1]] 数据是data[indptr[i]:indptr[i+1]]
# 在本例中
# 第0行，有非0的数据列是indices[indptr[0]:indptr[1]] = indices[0:2] = [0,2]
# 数据是data[indptr[0]:indptr[1]] = data[0:2] = [1,2],所以在第0行第0列是1，第2列是2
# 第1行，有非0的数据列是indices[indptr[1]:indptr[2]] = indices[2:3] = [2]
# 数据是data[indptr[1]:indptr[2] = data[2:3] = [3],所以在第1行第2列是3
# 第2行，有非0的数据列是indices[indptr[2]:indptr[3]] = indices[3:6] = [0,1,2]
# 数据是data[indptr[2]:indptr[3]] = data[3:6] = [4,5,6],所以在第2行第0列是4，第1列是5,第2列是6

3. 按列压缩

csc_matrix:  #稀疏矩阵存储方法三
indices = np.array([0, 2, 2, 0, 1, 2])
data = np.array([1, 2, 3, 4, 5, 6])
csc_matrix((data, indices, indptr), shape=(3, 3)).toarray()
array([[1, 0, 4],
       [0, 0, 5],
       [2, 3, 6]])