利用传统方法（N-gram，HMM等）、神经网络方法（CNN，LSTM等）和预训练方法（Bert等）的中文分词任务实现

自然语言处理中文分词

利用传统方法（N-gram，HMM等）、神经网络方法（CNN，LSTM等）和预训练方法（Bert等）的中文分词任务实现【The word segmentation task is realized by using traditional methods (n-gram, HMM, etc.), neural network methods (CNN, LSTM, etc.) and pre training methods (Bert, etc.)】

项目地址：https://github.com/JackHCC/Chinese-Tokenization

方法概述

• 传统算法：使用N-gram，HMM，最大熵，CRF等实现中文分词
• 神经⽹络⽅法：CNN、Bi-LSTM、Transformer等
• 预训练语⾔模型⽅法：Bert等

数据集概述

• PKU 与 MSR 是 SIGHAN 于 2005 年组织的中⽂分词⽐赛 所⽤的数据集，也是学术界测试分词⼯具的标准数据集。

实验过程

• 传统方法：

  • Document
  • Code
<