Task02:文本预处理；语言模型；循环神经网络基础

Task02: 文本预处理；语言模型；循环神经网络基础

 

1、文本预处理

摘要：自然语言处理NLP（Natural Language Processing），顾名思义，就是使用计算机对语言文字进行处理的相关技术。在对文本做分析时，我们一大半的时间都会花在文本预处理上，而中文和英文的预处理流程稍有不同。

文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：

1. 读入文本
2. 分词
3. 建立字典，将每个词映射到一个唯一的索引（index）
4. 将文本从词的序列转换为索引的序列，方便输入模型

 1.1 读入文本

  用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。

import collections
import re

def read_time_machine():
    with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f:
        # strip()去掉前后的空白字符，lower()将字符全部转换为小写
        # sub()为正则表达式的替换函数，正则表达式为非小写英文字符构成的子串，被替换成空格
        lines = [re.sub('[^a-z]+', ' ', line.strip().lower()) for line in f]
    return lines


lines = read_time_machine()
print('# sentences %d' % len(lines))  #输出此文件的行数
# print(lines)
# sentences 3221

 1.2 分词

  接下来对每个句子进行分词，也就是把一个句子划分成若干个词（token），转换为一个词的序列

#定义用于分词的函数： sentences（列表)句子字符串，token为分词的级别
def tokenize(sentences, token='word'):
    """Split sentences into word or char tokens"""
    if token == 'word':
        #以句子中的空格符作为分割符
        #二维列表，第一维是句子，第二维表示句子的单词序列
        return [sentence.split(' ') for sentence in sentences] 
    elif token == 'char':
        #字符级别的分词，直接转换为列表
        #二维列表的第一维表示句子，第二维表示句子的字符序列
        return [list(sentence) for sentence in sentences]
    else:
        print('ERROR: unkown token type '+token)

tokens = tokenize(lines)
tokens[0:2]
#[['the', 'time', 'machine', 'by', 'h', 'g', 'wells', ''], ['']]

 

 1.3 建立字典

  为了方便模型处理，我们需要将字符串转换为数字。因此我们需要先构建一个字典（vocabulary），将每个词映射到一个唯一的索引编号。

#定义一个类，功能是给这个对象的词都分配一个唯一的索引编号
class Vocab(object):
    '''构造函数：token