tf1.x和tf2.x查看TFRecord数据的方法

最新推荐文章于 2023-01-01 17:31:58 发布

原创最新推荐文章于 2023-01-01 17:31:58 发布 · 982 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow #python #深度学习

Note 同时被 2 个专栏收录

59 篇文章

订阅专栏

杂记

43 篇文章

订阅专栏

这篇博客介绍了Tensorflow 1.x和2.x中读取tfrecord文件的不同方法。在Tensorflow 1.x中，使用`tf.python_io.tf_record_iterator`并结合`tf.train.Example.FromString`解析数据；而在Tensorflow 2.x中，通过`tf.data.TFRecordDataset`读取数据，并利用`Example`类的`ParseFromString`方法和`MessageToJson`将protobuf消息转换为JSON。

部署运行你感兴趣的模型镜像

Tensorflow 1.x和Tensorflow 2.x读取tfrecord方法略有不同，下面分别记录两段代码：

Tensorflow 1.x：

for example in tf.python_io.tf_record_iterator(path):
    # print(tf.train.Example.FromString(example))
    jsonMessage = MessageToJson(tf.train.Example.FromString(example))

Tensorflow 2.x：

import tensorflow as tf
import json
from google.protobuf.json_format import MessageToJson

dataset = tf.data.TFRecordDataset("mydata.tfrecord")
for d in dataset:
    ex = tf.train.Example()
    ex.ParseFromString(d.numpy())
    m = json.loads(MessageToJson(ex))
    print(m['features']['feature'].keys())