使用 tf.data.TextLineDataset 来加载文本文件

【Bug已解决】codex file edit fails / Write operation denied — CodeX CLI 文件编辑失败解决方案 CodeX CLI 编辑文件时报写入被拒绝,本质是沙箱限制或权限不足。文中给出配置允许目录、修复权限、Git stash 管理冲突等完整方案。 阅读详情
import tensorflow as tf
import tensorflow_datasets as tfds
import os

DIRECTORY_URL = 'https://storage.googleapis.com/download.tensorflow.org/data/illiad/'
FILE_NAMES = ['cowper.txt', 'derby.txt', 'butler.txt']
for name in FILE_NAMES:
    text_dir = tf.keras.utils.get_file('E:/.keras/datasets/'+name,origin=DIRECTORY_URL+name)
parent_dir = os.path.dirname(text_dir)
print(parent_dir)

# 将文本加载到数据集中
def labeler(example, index):
    return example, tf.cast(index, tf.int64)
labeled_data_sets = []
for i, file_name in enumerate(FILE_NAMES):
    lines_dataset = tf.data.TextLineDataset(os.path.join(parent_dir,file_name))
    labeled_datset = lines_dataset.map(lambda ex:labeler(ex, i))
    labeled_data_sets.append(labeled_datset)
# 将这些标记的数据集合并到一个数据集中,然后对其进行随机化操作
BUFFER_SIZE = 50000
BATCH_SIZE = 64
TAKE_SIZE = 5000
all_labeled_data = labeled_data_sets[0]
for labeled_datset in labeled_data_sets[1:]:
    all_labeled_data = all_labeled_data.concatenate(labeled_datset)
all_labeled_data = all_labeled_data.shuffle(
    BUFFER_SIZE,reshuffle_each_iteration=False
)
for ex in all_labeled_data.take(5):
    print(ex)
# 将文本编码成数字
# 机器学习基于的是数字而非文本,所以字符串需要被转化成数字列表
# 为了达到此目的,我们需要构建文本与整数的一一映射。
# 建立词汇表:首先,通过将文本标记为单独的单词集合来构建词汇表。
tokenizer = tfds.deprecated.text.Tokenizer()
vocabulary_set = set()
for text_tensor, _ in all_labeled_data:
    some_tokens = tokenizer.tokenize(text_tensor.numpy())
    vocabulary_set.update(some_tokens)
vocab_size = len(vocabulary_set)
print(vocab_size)

# 样本编码:通过传递 vocabulary_set 到 tfds.features.text.TokenTextEncoder 来构建一个编码器。
# 编码器的 encode 方法传入一行文本,返回一个整数列表。
encoder = tfds.deprecated.text.TokenTextEncoder(vocabulary_set)
example_text = next(iter(all_labeled_data))[0].numpy()
print(example_text)
encoded_example = encoder.encode(example_text)
print(encoded_example)

# 现在,在数据集上运行编码器(通过将编码器打包到 tf.py_function 并且传参至数据集的 map 方法的方式来运行)。
def encode(text_tensor, label):
    encoded_text = encoder.encode(text_tensor.numpy())
    return encoded_text, label

def encode_map_fn(text, label):
    encode_text, label = tf.py_function(
        encode,
        inp=[text, label],
        Tout=(tf.int64, tf.int64)
    )
    encode_text.set_shape([None])
    label.set_shape([])
    return encode_text, label

all_encoded_data = all_labeled_data.map(encode_map_fn)

# 将数据集分割为测试集和训练集且进行分支
# 使用 tf.data.Dataset.take 和 tf.data.Dataset.skip 来建立一个小一些的测试数据集和稍大一些的训练数据集
train_data = all_encoded_data.skip(TAKE_SIZE).shuffle(BUFFER_SIZE)
train_data = train_data.padded_batch(BATCH_SIZE)

test_data = all_encoded_data.take(TAKE_SIZE)
test_data = test_data.padded_batch(BATCH_SIZE)
# test_data 和 train_data 不是( example, label )对的集合,而是批次的集合。每个批次都是一对(多样本, 多标签 ),表示为数组。
sample_text, sample_labels = next(iter(test_data))
print(sample_text[0], sample_labels[0])
# 引入了一个新的 token 来编码(填充零),因此词汇表大小增加了一个
vocab_size+=1
# 建立模型
model = tf.keras.Sequential()
# 第一层将整数表示转换为密集矢量嵌入
model.add(tf.keras.layers.Embedding(vocab_size, 64))
# 下一层是 LSTM 层,它允许模型利用上下文中理解单词含义。
# LSTM 上的双向包装器有助于模型理解当前数据点与其之前和之后的数据点的关系
model.add(tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64)))
# 最后,我们将获得一个或多个紧密连接的层,其中最后一层是输出层。
# 输出层输出样本属于各个标签的概率,最后具有最高概率的分类标签即为最终预测结果。
for units in [64,64]:# 编辑‘for’行的列表去检测层的大小
    model.add(tf.keras.layers.Dense(units, activation='relu'))
# 输出层。第一个参数是标签个数
model.add(tf.keras.layers.Dense(3, activation='softmax'))

# 编译模型:对于一个 softmax 分类模型来说,通常使用 sparse_categorical_crossentropy 作为其损失函数。
# 可以尝试其他的优化器,但是 adam 是最常用的。
model.compile(
    optimizer='adam',
    loss='sparse_categorical_crossentropy',
    metrics=['accuracy']
)

# 训练模型
model.fit(train_data, epochs=3, validation_data=test_data)
eval_loss, eval_acc = model.evaluate(test_data)
print('\nEval loss:{}, Eval accuracy:{}'.format(eval_loss, eval_acc))

因为tensorflow_daatasets中的features库被禁用,所以要使用deprecated库进行操作。

在Simulink中实现基于深度强化学习的控制算法仿真建模 通过上述步骤,你可以在Simulink中实现基于深度强化学习的控制算法仿真建模。这种方法适用于许多复杂的控制问题,尤其是当传统控制方法难以找到有效解决方案时。随着经验的积累,你可以进一步探索不同的深度强化学习算法及其变种,以适应更广泛的应用场景。此外,还可以结合其他先进技术(如迁移学习、多智能体协作等),提升模型的表现能力。 阅读详情

相关推荐

直流有刷电机控制 - 认识电机(一)

电机控制学习

u011030644的博客 919

手把手教你开发Pro/TOOLKIT应用程序(二)

请先阅读:手把手教你开发Pro/TOOLKIT应用程序(一) 在编写信息文件前,首先在工程文件夹下新建Bin文件夹,然后将第五步生成的test_wf5.d ll拷贝到Bin文件夹下。 六、编写信息文件 信息文件是用来定义Pro/TOOLKIT程序菜单及菜单项显示信息的文本文件。其内容以四行为一组,每行代表的意义如下: * 菜单或菜单项的名称 * 菜单或菜单项的英文显示 * 菜单或

Hisin Wang的专栏 8759

在虚拟机上搭建FTP服务器

chroot_list_file=/etc/vsftpd/chroot_list # 对chroot_list下用户限制。[root@localhost ~]# vim /etc/vsftpd/vsftpd.conf #打开配置文件。# 指定用户的shell: -s /usr/bin/nologin。# 在配置文件中找到以下几行代码, 去掉注释(去掉 "#"号)# 指定用户主目录:/data/ftp/ftpuser -M。(2)修改配置文件,路径/etc/vsftpd/ 下的文件。

weixin_70753380的博客 3212

tf.data.TextLineDataset加载文本文件的数据以及相关方法总结

import tensorflow as tf dataset = tf.data.TextLineDataset(['G:/git_open/tfrs-learn/data/test1','G:/git_open/tfrs-learn/data/test2'],num_parallel_reads=3) resutl = dataset.map(lambda x:tf.strings.split(x,sep=" "),num_parallel_calls=3) for each in resutl: .

sslfk的博客 1371

AI智能体安全沙箱agentguard:为LLM代码执行筑起防火墙

在AI应用开发领域,大语言模型(LLM)驱动的智能体(Agent)能够自动生成并执行代码,极大地提升了自动化能力。然而,赋予AI直接执行系统命令的权限也带来了显著的安全风险,如恶意代码注入、敏感数据泄露和系统资源滥用。为了解决这一核心矛盾,安全沙箱技术应运而生,它通过在不可信代码与宿主系统之间建立隔离层,实现"默认拒绝、最小权限"的安全原则。agentguard项目正是这一理念的工程实践,它结合白名单机制与容器化隔离,为AI智能体提供了可配置、可审计的安全执行环境。该方案不仅适用于内部自动化工具开发,也为构

weixin_28695537的博客 298

【Qt串口调试助手】1.1 - Qt5编写串口调试助手,Qt串口编程

这章来学习串口数据流操作。仿照成品制作一个自己用Qt编写的串口助手。 1. 布局UI界面 创建QWidget工程,布局UI界面:拖入2个 Plain Text Edit,作为串口数据的接收显示和发送框。 拖入几个 Combo Box 、Label 和 Push Button,使用两个Widget进行布局。如下所示。 将接收区的 Plain Text Edit,属性勾选上 readOnly,使其运行时不会被人为的输入操作影响。 加入一些弹簧,使布局美观。(有必要可以加设置不能调整..

Mark_md的博客 9277

tensorflow_datasets 如何load本地的数据集

用同一个语句,差一行代码。 以mdb_reviews为例,看工作代码。 本地的话,提前下载解压到 C:\\Users\\Grant\\tensorflow_datasets\\imdb_reviews\\plain_text\\1.0.0, 但是传给load函数的目录是前半部分C:\\Users\\Grant\\tensorflow_datasets\\, 后半部分tfds自动拼接,应该是写到tfds代码里的。 import tensorflow_datasets as tfds ...

apache的专栏 4993

SRAM ECC原理与应用:从汉明码到高可靠嵌入式系统设计

在嵌入式系统与高可靠性计算领域,内存数据完整性是系统稳定运行的基石。软错误(Soft Error)由宇宙射线或芯片内部粒子引发,可能导致存储单元发生位翻转,进而引发程序跑飞或数据损坏。为应对这一物理层挑战,错误校验与纠正(ECC)技术应运而生,其核心原理基于扩展汉明码,通过增加校验位实现单错误纠正、双错误检测(SECDED)能力。这项技术通过硬件透明纠错,在提升系统可靠性的同时,几乎不影响访问性能。在汽车电子、工业控制及航空航天等对安全性要求极高的场景中,ECC已成为保障长期稳定运行的关键硬件机制。本文聚焦

weixin_28728265的博客 535

基于TF-IDF+语义相似度的长文本相似度计算

主要步骤流程: 文本预处理:分词 训练词向量 tf-idf提取关键词并写入文档 前20个词 word2vec读取提取的关键词并转为词向量 相似度计算。 前面对word2vec的理论进行了介绍,接下来进入实战环节。实践主要分为三部分,word2vec训练,相似度计算以及训练结果展示三部分。 词向量的训练: 词向量的训练主要分为两部分: 1、对中文语料进行数据预处理; 2、利用ge...

weixin_40547993的博客 6471

PID参数自整定实战解析:从继电反馈到智能调节的完整实现

本文深入解析PID参数自整定的实战应用,从继电反馈原理到智能调节算法的完整实现。通过详细讲解振荡波形特征提取、参数计算的工程化改进及工业场景调试技巧,帮助工程师快速掌握PID自整定技术,提升控制系统性能。特别针对嵌入式系统优化和噪声环境下的稳定策略提供了实用解决方案。

weixin_28731223的博客 462

【数字孪生与仿真技术】14:数据驱动+机理模型:工业级混合建模实战(附MATLAB完整代码+案例解析)

摘要 本文针对工业建模中机理模型精度不足和数据驱动模型缺乏物理约束的痛点,提出混合建模技术作为解决方案。文章系统阐述了混合建模的3种主流架构(参数校正型、残差补偿型、组件替换型),结合清华大学催化裂化装置的实际案例,分析混合建模的工业应用价值。同时以连续搅拌反应釜(CSTR)为例,提供MATLAB环境下残差补偿型混合模型的完整实现代码,详细展示从机理模型构建到数据驱动补偿的全流程,并给出工程实践中的应对策略,为工业建模提供可落地的技术方案。 关键词 混合建模、机理模型、数据驱动、工业建模、MATLAB

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 625

如何让tensorflow_datasets加载本地下载的数据集

tensorflow_datasets加载本地下载的数据集 最近,在学习transformer过程中调试ensorflow官方给的学习代码中,需要利用tensorflow_datasets去下载葡萄牙语-英语的翻译语料,代码如下: import tensorflow as tf import tensorflow_datasets as tfds examples, metadata = tfds.load('ted_hrlr_translate/pt_to_en', with_info=True, as

u013206079的博客 7474

OpenClaw 多机器人多 Agent 模式:打造你的 AI 助手团队

OpenClaw多Agent模式为企业提供高效的AI助手团队解决方案。通过创建4个独立的飞书机器人(主助理、内容创作、技术开发、AI资讯),每个连接专属Gateway和Agent模型(如Claude Opus/Sonnet、Gemini 2.5),实现专业分工。相比单Agent模式,多Gateway架构具有配置清晰、互不干扰、无需手动切换等优势。系统采用Profile隔离机制,各Agent拥有独立配置和端口。部署过程包括创建机器人应用、配置Agent、运行自动化脚本等步骤,支持私聊或群组@使用。日常提供状态

Maynor的博客 5108

tf.data.TextLineDataset的使用

转自:https://www.jianshu.com/p/eba6841a0ff7

orangefly0214的博客 3911

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

tensorflow学习笔记(使用 tf.data 加载文本数据)

本文章是对tf.data.TextLineDataset的学习理解以及详细的学习笔记。内涵tensorflow加载文本的流程图。

DNDAW的博客 1081

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

解决AttributeError: module ‘tensorflow.contrib.data‘ has no attribute ‘TextLineDataset‘

在本文中,我们解决了在使用TensorFlow处理数据时遇到的​​异常。我们了解到在TensorFlow的新版本中,​​模块已被移除,我们需要使用新的API来加载文本数据集。通过使用​​,我们可以轻松地加载和处理文本数据集。希望本文能帮助到遇到类似问题的读者,并顺利进行TensorFlow数据处理工作。# 定义数据集路径# 读取文本数据集# 对文本数据集进行处理操作# 对文本进行处理,如分词、去除停用词等# 返回处理后的文本# 对处理后的数据集进行情感分析# 进行情感分析,返回情感分析结果。

牛肉胡辣汤 477

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

tf.data.Dataset读取数据详细文档

tf.data.Dataset用法

DataAlgo 3846

TensorFlow decode_csv TextLineDataset 读取数据

1decode_csv读取数据 import tensorflow as tf #创建文件队列 filenames ['./s0000025_1.csv','./s0000025_2.csv'] filename_queue = tf.train.string_input_producer(filenames,shuffle=True) #shuffle=True 文件队列随机读取,默认 ...

u012073033的专栏 1935

tf.data.TextLineDataset 解析csv

TextLineDataset的读取机制:读取文本中数据,一行代表一组数据,一般再按照filter、map、shuffle、batch、repeat、prefetch的顺序获得可用数据。 在csv中,因存在头部行,使用filter对数据进行筛选,去掉不符合数据结构的行。 from six.moves.urllib.request import urlopen import os import numpy as np import tensorflow as tf IRIS_TRAINING = "i

OGLD 651

TensorFlow结构化数据管道设计:tf.data生产级最佳实践

结构化数据输入管道是机器学习工程落地的关键环节,其核心在于将原始CSV或TFRecord等格式高效、稳定、可复现地转化为模型可用的张量流。原理上,tf.data并非简单替代pandas的读取工具,而是基于图构建、惰性求值与内存生命周期管理的声明式数据流系统;技术价值体现在性能提升(如GPU利用率从35%升至89%)、跨环境一致性(规避pandas版本解析差异)及TB级扩展能力;典型应用场景覆盖金融风控、电商推荐、智能仓储等工业级项目;本文聚焦tf.data.Dataset在shuffle缓冲区设计、pref

577

TensorFlow结构化数据输入管道:tf.data高效实践指南

结构化数据输入管道是机器学习训练效率的关键瓶颈,其本质是数据加载、解析、转换与批处理的端到端协同优化。核心原理在于绕过Pandas等Python层中间件,利用tf.data原生C++调度能力实现惰性、流式、图式可控的数据流水线。技术价值体现在显著提升GPU利用率(实测达92%)、降低内存峰值(最高减少55%)、保障训练可复现性。典型应用场景包括金融风控、电商推荐、工业时序预测等中大规模结构化任务。本文聚焦tf.data在TFRecord/Parquet格式下的分层架构设计、dtype显式声明、cache/p

weixin_34174322的博客 474

TensorFlow结构化数据输入管道:tf.data高性能实践指南

结构化数据输入管道是深度学习工程落地的关键基础设施,其本质是将带类型、列名和索引的表格数据(如CSV、Parquet)高效转化为GPU-ready张量流。核心原理在于打破Python与计算图的隔离,通过tf.data统一调度IO、解析、特征变换与批处理,实现零拷贝加载、并行解码与内存可控。技术价值体现在显著提升GPU利用率、降低OOM风险、保障训练可复现性,并支撑多GPU与分布式扩展。典型应用场景包括推荐系统CTR预估、金融风控建模及电商用户行为分析等需处理百万至亿级表格数据的工业任务。本文聚焦tf.dat

weixin_30546189的博客 443

任务2.1.1 深度学习实战 - 数据加载

本次实战系统演示了 TensorFlow 中多种数据集的加载与处理方法。内容涵盖从 Keras 内置的 MNIST 数据集,到本地的 CSV、TFRecord、文本文件,以及复杂的图片文件夹结构。重点讲解了如何利用 tf.data.Dataset API 将原始数据(如路径、标签)转化为高效的流式输入管道,为模型训练奠定了数据基础。

howard2005的专栏 585

结构化数据的tf.data高效流水线构建指南

结构化数据是机器学习中一类关键输入形式,其字段类型混杂、缺失值复杂、分布偏斜显著,对数据加载与预处理提出严苛要求。tf.data作为TensorFlow官方推荐的输入管道API,核心价值在于实现CPU-GPU解耦的流水线并行,通过I/O层(TFRecord优化)、计算层(Schema驱动的map变换)和供给层(prefetch与batch协同)三层架构,显著提升吞吐与GPU利用率。相比CSV直读,TFRecord格式可降低82%解析开销;合理配置num_parallel_calls与prefetch位置,能

图灵教育官方博客 408

Tensorflow2.* 加载和预处理数据之用 tf.data 加载文本数据(5)

Tensorflow2.* 机器学习基础知识篇: 对服装图像进行分类 使用Tensorflow Hub对未处理的电影评论数据集IMDB进行分类 Keras 机器学习基础知识之对预处理的电影评论文本分类 Tensorflow2.*教程之使用Auto MPG数据集构建回归模型预测燃油率 Tensorflow2.* 加载和预处理数据篇: Tensorflow2.* 加载和预处理数据之用 tf.data 加载 CSV 数据 Tensorflow2.* 加载和预处理数据之用 tf.data 加载 Num.

机器学习,深度学习 1463

tensorflow学习记录6——数据准备(二)

random.shuffle(all_image_paths) # 打散数据,使其顺序随机打乱,你能看到上边截图中是cat.1.jpg、cat.2.jpg、cat.3.jpg、cat.4.jpg,下述结果中为cat.0.jpg、cat.1.jpg、cat.10.jpg、cat.100.jpg乱序的。all_image_paths = [str(path) for path in all_image_paths]# 将列表中的所有Path对象转换为字符串形式,并存储在新的列表中。

m0_58297458的博客 1894
上一篇: TensorFlow相关教程:使用tf.data加载图片
下一篇: Pytorch和TensorFlow的相同点和不同点
Caoyy686868
博客等级 码龄8年 5742粉丝 57原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Caoyy686868

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值