分年份重新整理YELP数据集

最近做实验需要用到Yelp数据集，但是Yelp官网直接下载的数据集是非常大的，压缩之后多有2.7G，解压后大概6.4G左右（可怕），原始数据集是将很多年份的评论数据放在一起的。

大多数文献都是使用的一年的Yelp数据就可以了，那我们也一样分年份整理出来就可以，最后存储形式遵循Amazon数据集的json+gzip格式。废话不多说，直接上代码。

# python3.6                                
# encoding    : utf-8 -*-                            
# @author     : YingqiuXiong
# @e-mail     : 1916728303@qq.com                                    
# @file       : yelpData.py
# @Time       : 2022/4/14 9:46
import io
import json
import os
import zipfile
import gzip

data_dir = "../../../../../../Data/xiongyingqiu/yelp/"
dataFile_name = "yelp_academic_dataset_review.json"

# 按年份存储
file_2016 = gzip.open(os.path.join(data_dir, "reviews_yelp_2016.json.gz"), "a")
lines_2016 = []
file_2017 = gzip.open(os.path.join(data_dir, "reviews_yelp_2017.json.gz"), "a")
lines_2017 = [