13、自然语言处理模型训练与数据准备

自然语言处理模型训练与数据准备

1. 用 BlazingText 准备词向量数据

BlazingText 能让我们轻松且大规模地计算词向量，它期望的输入数据格式如下：
- 纯文本文件，每行一个样本。
- 每个样本的标记（单词和标点符号）需用空格分隔。

以下是处理数据集的步骤：
1. 安装 spaCy 库及其英文语言模型：

%%sh
pip -q install spacy
python -m spacy download en_core_web_sm
python -m spacy validate

2. 使用 pandas 加载数据，忽略有错误的行并删除缺失值的行：

import pandas as pd
data = pd.read_csv(
    '/tmp/amazon_reviews_us_Camera_v1_00.tsv.gz', 
    sep='\t', compression='gzip', 
    error_bad_lines=False, dtype='str')
data.dropna(inplace=True)

3. 保留 100,000 行数据，并仅保留 review_body 列：

data = data