52 文本预处理_by《李沐：动手学深度学习v2》pytorch版

系列文章目录

例如：第一章 Python 机器学习入门之pandas的使用

---

---

一、理论部分

对于序列数据处理问题，我们在序列处理中评估了所需的统计工具和预测时面临的挑战。
这样的数据存在许多种形式，文本是最常见例子之一。
例如，一篇文章可以被简单地看作一串单词序列，甚至是一串字符序列。
本节中，我们将解析文本的常见预处理步骤。
这些步骤通常包括：

1. 将文本作为字符串加载到内存中。
2. 将字符串拆分为词元（如单词和字符）。
3. 建立一个词表，将拆分的词元映射到数字索引。
4. 将文本转换为数字索引序列，方便模型操作。

二、代码

import collections
import re
from d2l import torch as d2l

读取数据集

首先，我们从H.G.Well的时光机器中加载文本。
这是一个相当小的语料库，只有30000多个单词，但足够我们小试牛刀，而现实中的文档集合可能会包含数十亿个单词。
下面的函数(将数据集读取到由多条文本行组成的列表中)，其中每条文本行都是一个字符串。
为简单起见，我们在这里忽略了标点符号和字母大写。

# 将时间机器数据集的下载链接和哈希值添加到数据仓库中
d2l.DATA_HUB['time_machine'] = (d2l.DATA_URL + 'timemachine.txt',
                                '090b5e7e70c295757f55df93cb0a180b9691891a')

def read_time_machine():  #@save
    """将时间机器数据集加载到文本行的列表中"""
    # 打开下载的时间机器文本文件
    with open(d2l.download('time_machine'), 'r') as f:
        lines = f.readlines()  # 读取所有行
    # 使用正则表达式清洗每一行文本，去掉非字母字符，并转换为小写
    return [re.sub('[^A-Za-z]+', ' ', line).strip().lower() for line in lines]

# 调用函数读取数据集
lines = read_time_machine()

# 输出文本总行数
print(f'# 文本总行数: {
     
     len(lines)}')

# 输出第一行和第十行的内容
print(lines[0])
print(lines[10])

# 文本总行数: 3221
the time machine by h g wells
twinkled and his usually pale face was flushed and animated the

词元化

下面的tokenize函数将文本行列表（lines）作为输入，列表中的每个元素是一个文本序列（如一条文本行）。
[每个文本序列又被拆分成一个词元列表]，词元（token）是文本的基本单位。
最后，返回一个由词元列表组成的列表，其中的每个词元都是一个字符串（string）。

def tokenize(lines, token='word'):  #@save
    """将文本行拆分为单词或字符词元"""
    # 如果指定的词元类型是 'word'
    if token == 'word':
        # 将每一行拆分为单词，返回一个包含单词列表的列表
        return [line.split() for line in lines]
    # 如果指定的词元类型是 'char'
    elif token == 'char':
        # 将每一行拆分为字符，返回一个包含字符列表的列表
        return [list(line) for line in lines]
    else:
        # 如果词元类型未知，打印错误信息
        print('错误：未知词元类型：' + token)

# 调用 tokenize 函数，将文本行拆分为词元，默认使用单词作为词元
tokens = tokenize(lines)

# 打印前 11 行的词元
for i in range(11):
    print(tokens[i