欺诈文本分类微调(二):生成正向数据集

1. 引言

前面一篇文章欺诈文本分类微调(一):基座模型选型记录了选择基座模型的过程,本文主要来介绍下如何获得训练模型需要的数据集,特别是与诈骗有关的对话数据集。

我们需要什么样的数据集呢?

  • 文本形式:会议场景的欺诈分析主要针对参会人的发言内容进行文本分析。
  • 对话格式:会议场景的诈骗是通过人与人之间的对话发生的,对话格式要比事后报道更贴合。
  • 语言:最好是中文

因此,需要先查找可用的数据集。

2. 查找数据集

我们想到了以下几种途径:

  1. 去HuggingFace以及modelscope等开源模型网站上查找是否有相关领域的数据集。
  2. 去一些防诈骗网站(例如:反诈中心)上找公开介绍的诈骗案例,或者可直接下载的数据集。
  3. 让chatgpt来生成诈骗话术。
开源网站

我们在开源网站使用fraud关键字进行搜索,最终找到的与欺诈相关的数据集只有下面几个:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉下心来学鲁班

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值