26、分布式商品推荐与情感分析及特征选择方法

分布式商品推荐与情感分析及特征选择方法

1. 分布式商品推荐中的加权评分归一化

在网站上，点赞方法和评论的有用性得分常被用于过滤评论。获得最高票数的评论会优先显示，这些票数对于确定评论对用户是否有用至关重要，它能让用户评估评论的真实性，用户更倾向于相信点赞最多的评论，这会影响他们的购买决策。

在研究中，对评分进行归一化处理后，其范围确定为 1 到 6。计算归一化评分 $N_r$ 的公式为：
$N_r = O_r * 0.8 + S_r * 0.2 + O_e$

其中，$O_r$ 和 $S_r$ 分别代表原始评分和情感评分，$O_e$ 是总体影响。总体影响的计算方式如下：
当 $POS > NEG$ 时，$O_e = \frac{POS}{POS + NEG}$
否则，$O_e = 1 - \frac{NEG}{POS + NEG}$

这里，$POS$ 表示认为评论有用的人数（点赞数），$NEG$ 表示认为评论无用的人数（点踩数）。在归一化评分的公式中使用总体影响，是为了给用户最喜欢或最不喜欢的评论赋予权重。如果某个商品的原始评分和情感评分都不错，但有一些用户故意点踩评论，通过给点踩赋予较低的权重，可以减少点踩的影响。与传统评分相比，使用上述公式定义的归一化评分有助于提高模型的准确性。

2. 实验设置与数据处理

为了进行实验，使用了 Google Colab 和 Apache Spark（3.1.1），以及 Python 3.7。Google Colab 提供了一个带有 NVIDIA K80 GPU、12 GB RAM、时钟速度为 0.82 GHz 和 4.1 TFlops 计算能力