TensorFlow 读取CSV数据代码实现

本文介绍了如何在TensorFlow中使用代码读取CSV数据,包括两种方法:一是读取tf_read.csv文件,二是处理Iris_train.csv和Iris_test.csv数据集。

TensorFlow 读取CSV数据原理在此就不做详细介绍,直接通过代码实现:

方法一:

详细读取tf_read.csv 代码

#coding:utf-8

import tensorflow as tf

filename_queue = tf.train.string_input_producer(["/home/yongcai/tf_read.csv"])
reader = tf.TextLineReader()
key, value = reader.read(filename_queue)

record_defaults = [[1.], [1.], [1.], [1.]]
col1, col2, col3, col4 = tf.decode_csv(value, record_defaults=record_defaults)

features = tf.stack([col1, col2, col3])

init_op = tf.global_variables_initializer()
local_init_op = tf.local_variables_initializer()

with tf.Session() as sess:
    sess.run(init_op)
    sess.run(local_init_op)

    # Start populating the filename queue.
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(coord=coord)

    try:
        for i in range(30):
            example, label = sess.run([features, col4])
            print(example)
            # print(label)
    except tf.errors.OutOfRangeError:
        print 'Done !!!'

    finally:
        coord.request_stop()
        coord.join(threads)

tf_read.csv 数据:

-0.76	15.67	-0.12	15.67
-0.48	12.52	-0.06	12.51
1.33	9.11	0.12	9.1
-0.88	20.35	-0.18	20.36
-0.25	3.99	-0.01	3.99
-0.87	26.25	-0.23	26.25
-1.03	2.87	-0.03	2.87
-0.51	7.81	-0.04	7.81
-1.57	14.46	-0.23	14.46
-0.1	10.02	-0.01	10.02
-0.56	8.92	-0.05	8.92
-1.2	4.1	-0.05	4.1
-0.77	5.15	-0.04	5.15
-0.88	4.48	-0.04	4.48
-2.7	10.82	-0.3	10.82
-1.23	2.4	-0.03	2.4
-0.77	5.16	-0.04	5.15
-0.81	6.15	-0.05	6.15
-0.6	5.01	-0.03	5
-1.25	4.75	-0.06	4.75
-2.53	7.31	-0.19	7.3
-1.15	16.39	-0.19	16.39
-1.7	5.19	-0.09	5.18
-0.62	3.23	-0.02	3.22
-0.74	17.43	-0.13	17.41
-0.77	15.41	-0.12	15.41
0	
<think> 我们根据引用内容,总结使用TensorFlow读取CSV文件的步骤: 1. 使用`tf.data.TextLineDataset`读取CSV文件(按行读取) 2. 定义解析函数,将每一行解析为特征和标签(根据CSV格式) 3. 对数据集进行批处理、重复、预取等操作以提高效率 根据引用[1]和[3],我们可以构建一个通用的读取CSV文件的流程。 步骤: 1. 导入必要的库:tensorflow和os等。 2. 定义CSV文件的路径。 3. 使用`tf.data.TextLineDataset`创建数据集,跳过标题行(如果有)。 4. 定义解析函数,使用`tf.io.decode_csv`来解析每一行。 5. 将解析函数映射到数据集。 6. 对数据集进行批处理等操作。 注意:引用[3]中使用了`csv_reader_dataset`,但未给出具体定义,因此我们将按照引用[1]和通用方法来实现。 下面我们给出一个具体的代码示例,假设CSV文件有三列:Name, Age, Occupation(如引用[1]中所述),并且我们想读取这些数据。 但是,用户的需求是读取CSV文件,并不指定具体结构。因此,我们以通用格式为例,同时参考引用[3]中的方式(假设有特征和标签)。 如果CSV文件中包含标题行,我们通常需要跳过第一行。 示例代码: 假设文件路径:`file_path = "C:/path/to/your/file.csv"` 步骤: 1. 创建TextLineDataset 2. 跳过第一行(标题) 3. 定义解析函数,指定每一列的数据类型和默认值 4. 映射解析函数 5. 批处理 注意:在解析CSV行时,需要根据列数指定每个字段的类型和默认值。 例如,对于三列(Name, Age, Occupation)的CSV文件,我们可以这样解析: ```python import tensorflow as tf # 文件路径 file_path = "C:/Users/30597/Desktop/sye/people.csv" # 创建数据集,跳过第一行 dataset = tf.data.TextLineDataset(file_path).skip(1) # 定义解析每一行的函数 def parse_line(line): # 指定每列的类型和默认值,这里三列:字符串、整数、字符串 record_defaults = [[""], [0], [""]] # 解析一行 fields = tf.io.decode_csv(line, record_defaults) # 如果希望将每一列分开,可以返回一个元组 # 例如,这里返回一个字典,键为列名(但这里我们没有列名信息,可以按位置) # 或者直接按位置返回,比如:return fields[0], fields[1] 等 # 这里我们返回一个字典 return {"Name": fields[0], "Age": fields[1], "Occupation": fields[2]} # 应用解析函数 dataset = dataset.map(parse_line) # 批处理 batch_size = 32 dataset = dataset.batch(batch_size) # 迭代一个批次查看 for batch in dataset.take(1): print(batch) ``` 但是,如果CSV文件包含特征和标签(比如在机器学习任务中),我们可能希望将某些列作为特征,某些列作为标签。 例如,在引用[3]中,有`x_batch`和`y_batch`,说明在解析时已经将特征和标签分开。 假设我们的CSV文件格式为:特征1, 特征2, ... , 标签 那么解析函数可以这样写: ```python def parse_line(line): record_defaults = [[0.0], [0.0], [0.0], [0.0], [0]] # 假设前4列是特征,第5列是标签(整数) fields = tf.io.decode_csv(line, record_defaults) # 将前4个字段作为特征,最后一个字段作为标签 features = tf.stack(fields[:-1]) label = fields[-1] return features, label ``` 然后,在批处理后,每个批次就是(features_batch, label_batch)。 引用[1]中提到了使用`tf.data.TextLineDataset`,引用[3]中使用了`csv_reader_dataset`(可能是自定义函数),但核心还是基于`tf.io.decode_csv`。 另外,引用[2]中提到了训练DNN模型,但用户问题只要求读取CSV文件,所以我们先提供读取的方法。 根据上述步骤,我们给出一个通用的读取CSV文件的模板。 注意:TensorFlow还提供了更高级的API,如`tf.data.experimental.CsvDataset`,它可以直接读取CSV文件而无需跳过标题行(可以指定列名和类型),但这里我们按照引用[1]使用`TextLineDataset`。 下面我们使用`TextLineDataset`实现。 最后,我们生成相关问题。 注意:用户要求生成相关问题,且回答中引用的段落末尾添加引用标识。 我们参考的引用有[1][2][3],在回答中我们会适当引用。 </think>以下是使用 Python 和 TensorFlow 读取 CSV 文件的完整方法,基于您提供的引用内容: ### 1. 基础读取方法(使用 TextLineDataset) ```python import tensorflow as tf import os # 设置文件路径 file_path = "C:/Users/30597/Desktop/sye/people.csv" # [^1] # 创建数据集 dataset = tf.data.TextLineDataset(file_path).skip(1) # 跳过标题行 # 定义解析函数 def parse_line(line): # 指定列类型和默认值 record_defaults = [tf.string, tf.int32, tf.string] # 对应Name, Age, Occupation # 解析CSV行 fields = tf.io.decode_csv(line, record_defaults) return {"Name": fields[0], "Age": fields[1], "Occupation": fields[2]} # 应用解析函数 dataset = dataset.map(parse_line) # 批处理 batch_size = 32 dataset = dataset.batch(batch_size) # 迭代查看数据 for batch in dataset.take(1): print(batch) ``` ### 2. 高级方法(带特征工程) ```python # 定义特征列 feature_columns = [ tf.feature_column.numeric_column("Age"), tf.feature_column.categorical_column_with_vocabulary_list( "Occupation", ["Engineer", "Teacher", "Doctor"]) ] # 创建输入函数 def input_fn(file_path, shuffle=True, batch_size=32): dataset = tf.data.TextLineDataset(file_path).skip(1) dataset = dataset.map(parse_line) if shuffle: dataset = dataset.shuffle(buffer_size=1000) dataset = dataset.batch(batch_size) return dataset # 使用输入函数 train_data = input_fn("train.csv") test_data = input_fn("test.csv", shuffle=False) # [^3] ``` ### 3. 结合模型训练 ```python # 创建DNN模型 model = tf.keras.Sequential([ tf.keras.layers.DenseFeatures(feature_columns), tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dense(1) # 输出层 ]) # 编译模型 model.compile(optimizer='adam', loss=tf.keras.losses.BinaryCrossentropy(from_logits=True), metrics=['accuracy']) # 训练模型 model.fit(train_data, epochs=10, validation_data=test_data) # [^2] ``` ### 关键要点: 1. **数据解析**:使用 `tf.io.decode_csv` 解析CSV数据 2. **批处理**:通过 `.batch()` 方法创建批次数据 3. **特征工程**:使用 `tf.feature_column` 定义特征处理逻辑 4. **性能优化**: - `.shuffle()` 打乱数据顺序 - `.prefetch()` 预加载数据提高效率 - 使用 `tf.data.experimental.CsvDataset` 替代方案(更高效)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值