中文脏话识别的解决方案

本文探讨了中文脏话的定义,包括谩骂和人身攻击,并介绍了网易云安全(易盾)的两种识别方案:关键词识别和模型识别,以维护社区和产品评论的健康环境。关键词识别依赖大量样本,模型识别则利用语义分析减少误判漏判。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文来自网易云社区


要识别,先定义脏话的概念。谩骂、人身攻击等粗俗语言均可定义为脏话。这类内容如果频繁出现在社区、产品评论中,对产品氛围的维护有相当大的负面影响。


网易云安全(易盾)将这类内容统称为“谩骂”,也是垃圾内容的一个类别。识别方案包含以下几种:

1)关键词识别:中文谩骂内容常出现的类目,易盾已覆盖了绝大部分,积累了大量的垃圾样本,涵盖了目前常出现的垃圾内容,可以准确识别;

2)模型识别:将谩骂样本加入训练库,提取相同特征,由模型对文本进行识别。模型也将随模型的训练提高精度。语义识别算法可以精确识别语义,可以根据上下文内容进行语义识别,防止仅依靠关键词而造成的的误判漏判。


网易云安全(易盾)是网易云旗下一站式云安全服务,有此需要者可点击免费试用


相关文章:
【推荐】 jq 一个强悍的json格式化查看工具
【推荐】 用RegularJS开发小程序 — mpregular解析
【推荐】 HBase - 数据写入流程解析

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值