问答模型训练(二)——数据预处理

到目前为止,问答模型的代码已经全部写完并可以跑通啦,所以此篇以及后续的n篇里,内容会集中在复盘+细节修正上。

服务器选择

paddlepaddle和paddlenlp已经在自己的电脑上配置完成,但由于个人PC算力有限,在AI Studio上使用模拟我的8G CPU无GPU的环境进行模型训练时,无论如何调节batchsize,内存始终溢出。为了模型训练的效果,最终还是选择了在AI Studio上对模型进行训练。

同样,后续使用模型进行预测时,在数据预处理过程以及后续预测过程都出现了内存溢出的情况,因此拟用AI Studio作为服务器进行后续的预测。

数据集加载

PaddleNLP已经内置SQuAD,CMRC等中英文阅读理解数据集,使用paddlenlp.datasets.load_dataset()API即可一键加载。参考实例加载的是DuReaderRobust中文阅读理解数据集。由于DuReaderRobust数据集采用SQuAD数据格式,InputFeature使用滑动窗口的方法生成,即一个example可能对应多个InputFeature。

答案抽取任务即根据输入的问题和文章,预测答案在文章中的起始位置和结束位置。

由于文章加问题的文本长度可能大于max_seq_length,答案出现的位置有可能出现在文章最后,所以不能简单的对文章进行截断。

那么对于过长的文章,则采用滑动窗口将文章分成多段,分别与问题组合。再用对应的tokenizer转化为模型可接受的feature。doc_stride参数就是每次滑动的距离。滑动窗口生成InputFeature的过程如下图:
滑动窗口生成InputFeature示意图

对代码进行修改以适配我们的任务

参考示例中通过在线下载DuReaderRobust中文阅读理解数据集对模型进行训练。但该数据获取方法无法适配我们的任务。
我们的问答模型需要更灵活的对query和context进行读取,因此首先要将数据集读取的方式由在线下载改为本地

Dureader_robust下载链接

数据处理

原始数据格式:

{
   
   
	'documents': [{
   
   
			'is_selected': True or Flase,
			'title': ' String',
			'paragraphs':
### 头歌平台中的数据预处理 在头歌平台上,数据预处理是一个重要的环节,尤其是在涉及自然语言处理的任务中。以下是基于已知的信息以及常见的实践方法来解答如何进行数据预处理。 #### 数据预处理的核心概念 数据预处理通常包括清洗、分词、向量化等多个阶段。对于像 SQuAD (Stanford Question Answering Dataset)[^1]这样的问答数据集,其预处理流程可能包含以下几个方面: - **文本清理**:移除无关字符或标记,例如 HTML 标签或其他特殊符号。 - **分词**:将原始文本分割成单词或子词单元,以便后续模型能够理解输入结构。 - **标准化**:统一大小写形式或者替换同义词/近义词以减少词汇表规模。 - **序列化与填充**:由于神经网络接受固定长度的输入,因此需要对不同长度的样本进行截断或补全操作。 这些步骤可以借助 Python 的第三方库完成,比如 `nltk` 或者 `spaCy` 来实现高效的文本分析功能[^2]。 #### 使用 PyTorch 实现批量加载 当利用深度学习框架如 PyTorch 构建模型时,合理设置 DataLoader 参数有助于提升效率。具体而言, ```python from torch.utils.data import DataLoader, RandomSampler train_loader = DataLoader( dataset=train_dataset, batch_size=50, sampler=RandomSampler(train_dataset), num_workers=4 # 设置多线程加速读取速度 ) ``` 上述代码片段展示了如何配置一个用于训练数据迭代器实例。其中 `batch_size` 定义每次传递给模型的学习批次数目;而通过指定 `sampler` 可控制抽取顺序随机性从而避免过拟合现象发生;最后调整 `num_workers` 数量依据硬件条件优化 IO 性能表现。 #### 示例总结 综上所述,在头歌教育云平台开展项目实战期间遇到有关于数据预处理方面的疑问时,可以从以上两个角度出发解决问题——既考虑理论层面的知识点掌握情况也要熟悉实际编码技巧的应用场景。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值