21、网站独立模板块检测与关键词提取技术研究

网站独立模板块检测与关键词提取技术研究

1. 模板块检测模型构建

特征向量主要由两部分组成：与单词特征对应的子集和与其他所有特征对应的子集，其中文本属性数量更多。考虑到文本的自然稀疏性，我们决定将建模过程分为两步：先构建基于文本的分类器，然后将其输出得分作为一个特征，与其他特征结合，以诱导最终的模板块分类器。

对于文本分类，我们使用了朴素贝叶斯的一个版本（标记为text）。对于整体分类器，我们考虑比较逻辑回归（标记为maxent）作为线性模型和随机森林（标记为rf）作为非线性模型。

分类器	精度 - 召回曲线表现
逻辑回归与随机森林	在相对较高的90%精度下，召回率可达70%。文本特征本身往往是一个很好的预测指标，但与其他属性结合会带来显著改善，尤其是在高精度区域。逻辑回归和随机森林表现相当，但随机森林在精度80% - 95%的区域似乎更具优势。

mermaid流程图如下：

graph LR
    A[特征向量] --> B[文本特征子集]
    A --> C[其他特征子集]
    B --> D[构建文本分类器（朴素贝叶斯）]
    D --> E[输出得分]
    E --> F[与其他特征结合]
    F --> G[最终模板块分类器（逻辑回归/随机森林）]
</