自然语言处理(NLP)和计算语言学(CL)是人类语言计算研究的两个领域。
- NLP旨在开发解决涉及语言的实际问题的方法,如信息提取、自动语音识别、机器翻译、情绪分析、问答和总结。
- CL使用计算方法来理解人类语言的特性。
语料库、令牌和类型
无论是经典的还是现代的,都以文本数据集开始,也称为语料库(复数:corpora)。
语料库通常有原始文本(ASCII或UTF-8格式)和与文本相关的任何元数据。原始文本是字符(字节)序列,但是大多数时候将字符分组成连续的称为令牌(Tokens)的连续单元是有用的。在英语中,令牌(Tokens)对应由空格字符或标点分隔的单词和数字序列。
元数据可以是和文本相关联的任何辅助信息,比如标识符、标签和时间戳。在机器学习的术语里,文本及其元数据称为实例或者是数据点。语料库是一组实例也成为数据集合。
令牌是NLP的基础,令牌是单词,字符或者子单词。将文本分解为令牌(Tokens)的过程称为令牌化(tokenization)
import spacy
nlp = spacy.load(‘en’)
text = “Mary, don’t slap the green witch”
print([str(token) for token in nlp(text.lower())