由学科引用矩阵计算相似度

最新推荐文章于 2024-10-14 16:36:25 发布

原创

最新推荐文章于 2024-10-14 16:36:25 发布 · 1.9k 阅读

7 ·

CC 4.0 BY-SA版权

本文介绍如何利用Excel数据计算学科引用矩阵的相似度，包括cosine相似度和claArr方法。通过读取Excel，计算并重新组织结果到新的Excel表中。针对228x228的数据集，进行了行和列的求和操作，改进了代码以适应实际行数和列数。还探讨了使用sklearn库处理稀疏矩阵的方法。

本文是用Excel表格内的学科引用矩阵计算得到学科相似度，分为以下几个步骤：

第一步，读取Excel数据,返回行标签和列标签和内部的数值（n维数组）。

第二步，对数据按行进行计算相似度。

其中这里写了2个计算相似度的方法，一个是cosine相似度，
另一个是由张琳的这篇文章《Diversity of References as an Indicator of the
Interdisciplinarity of Journals: Taking Similarity
Between Subject Fields Into Account》得到，由claArr方法计算，具体如下：
在这里插入图片描述
具体的标准化和归一化，看情况调用。

第三步，将计算得到的结果重新装进excel 表

import math
from openpyxl import load_workbook
import numpy as np
import pandas as pd

def genEmptyArr(i,j):
	a = []
	for ii in range(i):
		b = []
		for jj in range (j):
			b.append(0)
		a.append(b)
	return a

#归一化
def normalization(data):
	_range = np.max(data) - np.min(data)
	return (data - np.min(data)) / _range
 
#标准化
def standardization(data):
	mu = np.mean(data, axis=0)
	sigma = np.std(data, axis=0)
	d = (data - mu) /