利用传统方法(N-gram,HMM等)、神经网络方法(CNN,LSTM等)和预训练方法(Bert等)的中文分词任务实现

本文探讨了中文分词的传统N-gram、HMM方法与现代神经网络技术(如CNN、LSTM)及预训练模型Bert的实践应用。通过PKU和MSR数据集实验,展示了BERT-CRF在准确率和F1分数上的显著优势,同时介绍了jieba、pkuseg和THULAC等工具的性能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

自然语言处理中文分词

利用传统方法(N-gram,HMM等)、神经网络方法(CNN,LSTM等)和预训练方法(Bert等)的中文分词任务实现【The word segmentation task is realized by using traditional methods (n-gram, HMM, etc.), neural network methods (CNN, LSTM, etc.) and pre training methods (Bert, etc.)】

项目地址:https://github.com/JackHCC/Chinese-Tokenization

方法概述

  • 传统算法:使用N-gram,HMM,最大熵,CRF等实现中文分词
  • 神经⽹络⽅法:CNN、Bi-LSTM、Transformer等
  • 预训练语⾔模型⽅法:Bert等

数据集概述

  • PKU 与 MSR 是 SIGHAN 于 2005 年组织的中⽂分词⽐赛 所⽤的数据集,也是学术界测试分词⼯具的标准数据集。

实验过程

实验结果

PKU数据集

模型准确率召回率F1分数
Uni-Gram0.85500.93420.8928
Uni-Gram+规则0.91110.94960.9300
HMM0.79360.80900.8012
CRF0.94090.93960.9400
Bi-LSTM0.92480.92360.9240
Bi-LSTM+CRF0.93660.93540.9358
BERT0.97120.96350.9673
BERT-CRF0.97050.96190.9662
jieba0.85590.78960.8214
pkuseg0.95120.92240.9366
THULAC0.92870.92950.9291

MSR数据集

模型准确率召回率F1分数
Uni-Gram0.91190.96330.9369
Uni-Gram+规则0.91290.96340.9375
HMM0.77860.81890.7983
CRF0.96750.96760.9675
Bi-LSTM0.96240.96250.9624
Bi-LSTM+CRF0.96310.96320.9632
BERT0.98410.98170.9829
BERT-CRF0.98050.97870.9796
jieba0.82040.81450.8174
pkuseg0.87010.88940.8796
THULAC0.84280.88800.8648
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JackHCC

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值