18、从数据中学习：构建深度学习的围棋数据处理与生成器

从数据中学习：构建深度学习的围棋数据处理与生成器

1. 围棋数据处理概述

在处理围棋数据进行深度学习时，我们的目标是将原始的SGF（Smart Game Format）数据转化为适合机器学习算法的特征和标签。整个处理流程大致如下：
1. 下载并解压压缩的围棋游戏文件。
2. 遍历这些文件中的每个SGF文件，将其读取为Python字符串，并从中创建Sgf_game对象。
3. 读取每个SGF字符串对应的围棋游戏的主序列，处理诸如让子等重要细节，并将得到的落子数据输入到GameState对象中。
4. 对于每一步落子，使用编码器将当前棋盘信息编码为特征，并将落子本身存储为标签，然后再将落子放置到棋盘上。这样可以实时创建用于深度学习的落子预测数据。
5. 将得到的特征和标签以合适的格式存储，以便后续可以将其输入到深度神经网络中。

2. 构建围棋数据处理器

首先，我们需要创建一个名为 processor.py 的文件，在其中进行数据处理的相关操作。以下是所需的Python库和模块的导入代码：

import os.path
import tarfile
import gzip
import glob
import shutil
import numpy as np
from keras.utils import to_categorical
from dlgo.gosgf import Sgf_game
from dlgo.goboard_fast import Board, GameState, Move
from dlgo