TensorFlow 使用Dataset读取CSV数据 (启用Eager)

最新推荐文章于 2023-04-06 09:40:28 发布

HeliantHuSiHM

最新推荐文章于 2023-04-06 09:40:28 发布

阅读量1.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： TensorFlow Python

本文链接：https://blog.youkuaiyun.com/qq_23077403/article/details/91624406

Python 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一种使用TensorFlow和其eager execution模式从CSV文件中读取数据的方法。通过定义函数csvread，利用了tf.data.TextLineDataset进行数据处理，并通过迭代器遍历数据集，展示了如何在Python环境中高效地预处理和读取CSV格式的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 导入模块并且屏蔽warning

import tensorflow as tf
import tensorflow.contrib.eager as tfe
import glob
import os
os.environ["TF_CPP_MIN_LOG_LEVEL"] = "2"

2.启用eager

tf.enable_eager_execution()

3.定义读取数据函数

def csvread(filelist):
    list1 = (tf.data.TextLineDataset(filelist)
             .map(lambda text: tf.string_split([text],delimiter=",").values))  # 使用逗号分隔符

    iterator = tfe.Iterator(list1)
    for i in iterator:
        print(i)

4.获得csv文件数据并运行

if __name__ == '__main__':
    filelist = [i for i in glob.glob("data/*.csv")]
    csvread(filelist=filelist)

完整代码

#!/usr/bin/python
# -*- coding: UTF-8 -*-
__author__ = "HeliantHuS"
__version__ = "1.0"
"""
@ Author: HeliantHuS
@ Codes are far away from bugs with the animal protecting
@ Time:  2019/6/12
@ FileName: read_csvfiletest.py
"""
import tensorflow as tf
import tensorflow.contrib.eager as tfe
import glob

import os
os.environ["TF_CPP_MIN_LOG_LEVEL"] = "2"

tf.enable_eager_execution()

def csvread(filelist):
    list1 = (tf.data.TextLineDataset(filelist)
                  .map(lambda text: tf.string_split([text],delimiter=",").values))  # 使用逗号分隔符
    print(type(list1))

    iterator = tfe.Iterator(list1)
    for i in iterator:
        print(i)


if __name__ == '__main__':
    filelist = [i for i in glob.glob("data/*.csv")]
    csvread(filelist=filelist)