11、基于自然语言处理的高精度自动化抑郁预测及BERTurk主题分类研究

基于自然语言处理的高精度自动化抑郁预测及BERTurk主题分类研究

1. BERTurk主题分类研究

1.1 数据预处理对模型性能的影响

在文本分类任务中，数据预处理是一个关键步骤。不同的研究对数据预处理的效果有不同的发现。例如，A. A. Do˘gan等人在推文数据上应用了多种清洗步骤，如去除Html标签、URL、处理阿拉伯数字后的空格以及移除阿拉伯语特定的重音符号等，结果表明预处理对方言识别有积极影响，但对情感分析并非如此。

Zhu等人的研究显示，对于像BERT这样的现代NLP模型，处理各种类型的噪声并不总是能提高性能，甚至可能会降低性能。BERT对注入的噪声具有一定的鲁棒性，但在弱监督噪声下并非必然如此。另外，在作者简介检测的研究中，Alzahrani和Jololian发现，在BERT模型训练前进行去除停用词、转发标签、话题标签、提及和URL等预处理操作后，未进行任何预处理的数据训练得到的性能最高。

1.2 实验架构与训练过程

1.2.1 数据准备

研究使用EasyOcr将图像问题集转换为文本，共获得4027条数据。在训练前，将数据集按20%的比例划分为训练数据和测试数据，且所有实验使用相同数量的问题。

1.2.2 训练设置

在具有GeForce RTX 3080 Nvidia显卡的计算机上安装Anaconda进行库管理。每次训练使用的超参数如下表所示：
| 参数 | 值 |
| — | — |
| Hugging Face模型 | dbmdz/bert-base-turkish-uncased |
| 使用早停策略 |