《Dhati+: Fine-tuned Large Language Models for Arabic Subjectivity Evaluation》总结与翻译
一、文章主要内容
该研究聚焦阿拉伯语文本主观性评估,针对阿拉伯语作为形态复杂且标注数据集稀缺的语言,在主观性分析工具开发上存在的困难,提出了一套完整的解决方案,具体内容如下:
- 数据集构建:为解决专用标注数据集匮乏问题,整合现有阿拉伯语数据集(ASTD、LABR、HARD、SANAD),构建了综合数据集AraDhati+。其中,将LABR和HARD中带积极、消极、中性标签的文本归为主观性文本,从SANAD中选取医疗、体育、科技领域的新闻作为客观性文本,并通过过采样、数据增强、清洗与标准化等操作,确保数据集平衡且质量可靠,最终将数据集按8:2比例划分为训练集(62,332条数据)和测试集(15,584条数据)。
- 模型微调与实验:基于Hugging Face Transformers库,对三种主流阿拉伯语大型语言模型(XLM-RoBERTa、AraBERT、ArabianGPT)进行微调。先在过采样后的ASTD数据集上微调得到第一批模型(AraSubjXLM-R_1、AraSubjBERT_1、AraSubjGPT_1),再在AraDhati+数据集上微调得到第二批模型(AraSubjXLM-R_2、AraSubjBERT_2、AraSubjGPT_2),
订阅专栏 解锁全文
1299



被折叠的 条评论
为什么被折叠?



