使用 tf.data.TextLineDataset 来加载文本文件

最新推荐文章于 2023-12-20 18:19:19 发布

Caoyy686868

最新推荐文章于 2023-12-20 18:19:19 发布

阅读量433

点赞数 1

CC 4.0 BY-SA版权

文章标签： tensorflow 自然语言处理深度学习

本文链接：https://blog.youkuaiyun.com/YYSTINTERNET/article/details/120247254

import tensorflow as tf
import tensorflow_datasets as tfds
import os

DIRECTORY_URL = 'https://storage.googleapis.com/download.tensorflow.org/data/illiad/'
FILE_NAMES = ['cowper.txt', 'derby.txt', 'butler.txt']
for name in FILE_NAMES:
    text_dir = tf.keras.utils.get_file('E:/.keras/datasets/'+name,origin=DIRECTORY_URL+name)
parent_dir = os.path.dirname(text_dir)
print(parent_dir)

# 将文本加载到数据集中
def labeler(example, index):
    return example, tf.cast(index, tf.int64)
labeled_data_sets = []
for i, file_name in enumerate(FILE_NAMES):
    lines_dataset = tf.data.TextLineDataset(os.path.join(parent_dir,file_name))
    labeled_datset = lines_dataset.map(lambda ex:labeler(ex, i))
    labeled_data_sets.append(labeled_datset)
# 将这些标记的数据集合并到一个数据集中，然后对其进行随机化操作
BUFFER_SIZE = 50000
BATCH_SIZE = 64
TAKE_SIZE = 5000
all_labeled_data = labeled_data_sets[0]
for lab