3、阿尔巴尼亚语问题分类与云计算分布式任务调度探索

阿尔巴尼亚语问题分类与云计算分布式任务调度探索

阿尔巴尼亚语问题分类

在问答系统中，问题分类是一个重要的组成部分。然而，针对阿尔巴尼亚语的问题分类此前尚未得到分析。问题分类的目标是确定问题的类型。为此，提出了首个使用6类分类法标注的阿尔巴尼亚语问题数据集。

数据集创建

• 翻译 ：首先将英语版的TREC数据集自动翻译成阿尔巴尼亚语。
• 修正 ：然后手动检查和修正翻译后的问题。

该数据集包含4694个问题，根据问题类型标记为以下6个标签之一：
| 标签 | 含义 |
| ---- | ---- |
| DESC | 描述和抽象对象 |
| ENTY | 实体 |
| ABBR | 缩写解释 |
| HUM | 人类 |
| NUM | 数值 |
| LOC | 位置 |

算法评估

使用该数据集评估了三种机器学习算法（支持向量机SVM、随机森林RF和逻辑回归LR）在阿尔巴尼亚语问题分类任务中的性能。同时，还评估了TF - IDF、RoBERTa和fastText对模型性能的影响。实现过程使用了Python编程语言及其相关库。

不同模型和特征下的性能表现如下：
- 当使用fastText模型时，性能最佳的算法是SVM，其次是LR和RF。
- 当使用RoBERTa时，模型性能低于使用fastText，准确率相差0.6%，F1分数相差1.9%。
- 与使用RoBERTa和fa