18、基于文本分析理解评论-优快云博客

本文链接：https://blog.youkuaiyun.com/mongodb5scout/article/details/155046800

基于文本分析理解评论

1. 数据准备与高频词分析

在数据准备好以数据框的形式供预测模型使用后，若想了解数据中最频繁出现的术语，可使用 TOPFEATURES 函数。部分特征在上下文中可直观猜测其含义，不过 br 特征需解释一下，它源于数据来自包含 <br> 字符串的 HTML 页面， <br> 用于表示文本中的换行。若想移除该特征也可行，但目前先保留。示例代码如下：

TOPFEATURES(TRAIN - DFM)
#>     br    like    tast  flavor     one    just   coffe    good     tri product
#>    220     107     101      87      82      75      72      71      70 67

2. 使用交叉验证训练模型

2.1 交叉验证原理

采用交叉验证（Cross Validation，CV）作为建模过程的基础，能对模型在未见过数据上的表现进行估计。其基本思想是将训练数据划分为多个部分，每次取出其中一部分作为测试集，其余部分作为训练集，重复此过程，确保每个部分都有机会作为测试集。这样能在使用测试数据进行最终测试前，更全面地测试训练过程。