轻松入门自然语言处理系列 06 文本处理

前言

本文主要介绍了NLP中的基础任务──文本处理，包含了文本分析流程与分词、停用词与词的标准化、拼写纠错。

一、文本分析流程与分词

1.文本分析流程

就像其他的领域有自己的经典流程一样，一个文本分析的项目也有属于自己的流程。虽然每一个NLP项目有所不同，但至于流程来说没有太多本质的区别。这里会涉及到如分词、停用词过滤、文本向量的转化等步骤。一个典型的文本分析流程如下：

在分词阶段，不同语言的文本是不一样的，比如中文分词就较难，而英文分词较简单；

标准化主要针对英文，因为英文单词有时态等区别，但是多个单词指的都是同一个单词，通过标准化将不同的单词映射到同一个单词；

特征提取就是将文本转换为数值化的形式，常见的文本特征包括tf-idf、词向量、词性、词的长度等；

其中，分词和清洗没有严格的先后顺序，可以进行灵活调整。

2.分词工具的使用

分词是所有工作的第一步，分词的准确性直接影响对后续任务的表现。但分词技术相对比较成熟，也有很多开源的工具可用来做中文或者对其他语言的分词。

对于中文文本来说，有一些常用的文本分词工具：

工具