pyspark将DataFrame写入tfrecord 和tf中tfrecord的解析

做特征工程时，常需要利用pyspark 将数据处理后保存为tfrecord以供后续的模型训练。本文给一个保存为tfrecord 和对tfrecord进行解析的案例。

一 、spark将DataFrame写入tfrecord 

用spark读取数据经过处理后，保存为pyspark的dataframe形式。

def tfrecord(data,dt_begin,dt_end,is_train=True):

        from pyspark.sql import functions as funcs

        if is_train: # 如果是train，将数据打乱下（在写tfrecord时就进行) 

                data = data.orderBy(funcs.rand())

                tag = 'train_{0}_{1}_{2}'.format(VERSION, dt_begin, dt_end)

        else:

                tag = 'test_{0}_{1}_{2}'.format(VERSION, dt_begin, dt_end)