20、结合分层注意力网络与XGBoost识别论证有效性

结合分层注意力网络与XGBoost识别论证有效性

1. 数据预处理

由于单词无法直接进行数学计算，因此需要将每个单词转换为向量表示。这里使用了预训练的300维全局向量（GloVe）词向量，并将其作为嵌入层的固定权重，在训练过程中不训练嵌入层。这些词向量数组将作为深度学习层的输入，深度学习层充当每个数据的特征提取器，其输出是每个数据的高级表示/特征，这些高级特征将作为分类器层的输入。

操作步骤：
1. 下载预训练的GloVe词向量。
2. 将GloVe词向量加载到模型的嵌入层，并设置为固定权重。

2. 模型架构与训练

实现了两种分类器算法：全连接层和XGBoost。对于全连接层，采用端到端学习系统，即深度学习层和分类器同时训练；对于XGBoost，采用迁移学习方法，先使用全连接层训练深度学习算法，然后移除全连接层，用XGBoost代替，XGBoost将深度学习层计算的高级表示作为其训练过程的输入。两种分类器都使用softmax函数作为目标函数。

操作步骤：
1. 构建深度学习层和全连接层的模型，进行端到端训练。
2. 移除全连接层，将深度学习层的输出作为XGBoost的输入，设置XGBoost的参数进行训练。

3. 实验设置

将该任务视为二分类任务，使用20次5折交叉验证评估模型。在训练过程中，实现了早停机制，并在所有模型中应用了dropout机制以防止过拟合。由于数据集类别不平衡（不足论证类占33%，充分论证类占67%），除了模型质量指标外，还添加了ROC曲线下面积（ROC - AUC）作为评估指标。

操作步骤：
1. 划分