1. 引言
前面一篇文章欺诈文本分类微调(一):基座模型选型记录了选择基座模型的过程,本文主要来介绍下如何获得训练模型需要的数据集,特别是与诈骗有关的对话数据集。
我们需要什么样的数据集呢?
- 文本形式:会议场景的欺诈分析主要针对参会人的发言内容进行文本分析。
- 对话格式:会议场景的诈骗是通过人与人之间的对话发生的,对话格式要比事后报道更贴合。
- 语言:最好是中文
因此,需要先查找可用的数据集。
2. 查找数据集
我们想到了以下几种途径:
- 去HuggingFace以及modelscope等开源模型网站上查找是否有相关领域的数据集。
- 去一些防诈骗网站(例如:反诈中心)上找公开介绍的诈骗案例,或者可直接下载的数据集。
- 让chatgpt来生成诈骗话术。
开源网站
我们在开源网站使用fraud
关键字进行搜索,最终找到的与欺诈相关的数据集只有下面几个: