tensorflow基础:tf.data.Dataset.from_tensor_slices()

tf.data.Dataset.from_tensor_slices()的用法 将输入数据(张量、数组、元组、字典等)按第一个维度切片,生成数据集元素‌。‌:输入为元组或字典时,所有元素的第一个维度必须相同,切片后每个样本的。特征和标签一一对应‌。 阅读详情

tf.data.Dataset.from_tensor_slices()

语义解释:from_tensor_slices,从张量的切片读取数据。

工作原理:将输入的张量的第一个维度看做样本的个数,沿其第一个维度将tensor切片,得到的每个切片是一个样本数据。实现了输入张量的自动切片。

输入数据格式/要求:

        1)可以是numpy格式,也可以是tensorflow的tensor的格式,函数会自动将numpy格式转为tensorflow的tensor格式

        2)输入可以是一个tensor

                                   或   一个tensor字典(字典的每个key对应的value是一个tensor,要求各tensor的第一个维度相等)

                                   或    一个tensor  tuple(tuple 的每个元素是一个tensor,要求各tensor的第一个维度相等)。

示例代码:


import tensorflow as tf
import numpy as np

## 测试1: 输入是一个 tensor,函数将样本个数识别为8,然后对张量切片,每个样本的维度是(100)
dataset_tensor = tf.data.Dataset.from_tensor_slices(tf.random_uniform([8,100]))
print("dataset_tensor.output_shapes = ",dataset_tensor.output_shapes)

## 测试2: 输入是一个 numpy
dataset_numpy = tf.data.Dataset.from_tensor_slices(np.random.randn(8,100))
print("dataset_numpy.output_shapes = ",dataset_numpy.output_shapes)


## 测试3: 输入是一个 dict:当不同的value-tensor的第一个维度不同时,会报错,无法对各张量统一切片
dataset_dict = tf.data.Dataset.from_tensor_slices(
    {"a":tf.random_uniform([8,100]),
     "b":tf.random_uniform([8,1000])})
print("dataset_dict.output_shapes = ",dataset_dict.output_shapes)

## 测试4: 输入是一个 tuple:当不同的 tensor元素的第一个维度不同时,会报错,无法对各张量统一切片
dataset_tuple = tf.data.Dataset.from_tensor_slices(
    (tf.ones([8,10]),tf.zeros([8,100]),tf.random_uniform([8,15,100]))
)
print("dataset_tuple.output_shapes = ",dataset_tuple.output_shapes)

 

[Tensorflow2.0入坑指南]from_tensors和from_tensor_slices的区别 tf.data.Dataset.from_tensor_slices() 将输入的tensors中的每一个element按行进行划分,然后存入dataset import numpy import tensorflow as tf data = np.array([[1,2],[3,4]]) dataset = tf.data.Dataset.from_tensor_slices(data) # [1, 2], [3, 4] print(dataset) # <TensorSliceDataset s 阅读详情

相关推荐

tf.data.Dataset.from_tensor_slices详解

tf.data.Dataset.from_tensor_slices详解

qq_19069557的博客 1365

tf.data.Dataset.from_tensor_slices

数组转换成tensorflow的dataset,因为只有dataset才能被model.fit函数训练。进行切分,生成该tensor的切片数据集dataset。被在第0维切分成了5个不同tf.Tensor。对传入的tensor在第一个。ndarray类型的。将python列表和。...

Fwuyi的博客 3304

tensorflow2.x学习笔记十四:tf.data.Dataset.from_tensor_slices以及Dataset部分属性的使用方法

一、tf.data.Dataset.from_tensor_slices,它有三种用法,可以传入tensor、元组以及字典。下面就举几个例子: 直接传入tensor,有一点需要注意的是,它是按照传入的tensor的第0维进行划分以产生数据集 传入元组 传入字典 二、使用from_tensor_slices生成的dataset的一些属性方法,apply、as_numpy_iterator、...

耐心的小黑的博客 3746

tensorflow 加载数据集

tf.data.Dataset.from_tensor_slices: 使用tf.data.Dataset.from_tensor_slices五步加载数据集 import tensorflow as tf from tensorflow import keras def load_dataset(): # Step0 准备数据集, 可以是自己动手丰衣足食, 也可以从 tf.keras.datasets 加载需要的数据集(获取到的是numpy数据) # 这里以 mnist 为例 (x, y),

踩坑记录 1080

关于solidworks无法获得下列许可SOLIDWORKS Standard的解决方法

在使用solid works的时候,出现无法获得下列许可SOLIDWORKS Standard,刚开始还以为软件出了问题,经过一方折腾找到了解决方法。希望这个方法可以帮助到您 找到这个服务 问题到这里就已经得到了解决,但更大的问题是,要是每次遇见这种都要这么麻烦,岂不是很累?这里也提供一种方法。考虑到每个人的情况,下面说的可能有一点啰嗦。 !!!!!!注意那个在此期间之后重新启动服...

Chaosna13的博客 7万+

数分实战(01):Global_Superstore数据集解析与商业洞察

本文以Global_Superstore零售数据集为例,手把手指导数据分析实战全流程。从数据清洗、探索性分析到深度商业洞察,详细解析了如何通过Python处理缺失值与异常值,进行销售利润分析、客户细分与地理分析,并探讨了折扣与利润的微妙关系。文章旨在帮助读者建立数据分析思维框架,从数据中挖掘可指导实际业务决策的核心洞察。

weixin_28487433的博客 343

tensorflow基础:tf.data.Dataset.from_tensor_slices() 与 tf.data.Dataset.from_generator()的异同

tf.data.Dataset.from_tensor_slices(tensor): -->将tensor沿其第一个维度切片,返回一个含有N个样本的数据集(假设tensor的第一个维度为N). -->得到的数据集是一个类对象,具有“迭代器”等函数,方便遍历数据集中的样本。 -->缺点:需要将整个数据集整体传入,然后切片建立数...

wzg2016的博客 8579

Jetpack Compose Navigation实战:从基础到高级导航模式

本文全面解析Jetpack Compose Navigation在Android开发中的应用,从基础导航实现到高级模式(如单任务/单顶模式),涵盖参数传递、嵌套导航、深层链接等核心功能。通过实战代码示例展示如何优化导航性能,并与ViewModel、Hilt等架构组件整合,为开发者提供高效的Compose导航解决方案。

pz890123456的博客 373

tf.data.Dataset.from_tensor_slices的用法

tf.data.Dataset.from_tensor_slices 该函数是dataset核心函数之一,它的作用是把给定的元组、列表和张量等数据进行特征切片。切片的范围是从最外层维度开始的。如果有多个特征进行组合,那么一次切片是把每个组合的最外维度的数据切开,分成一组一组的。 假设我们现在有两组数据,分别是特征和标签,为了简化说明问题,我们假设每两个特征对应一个标签。之后把特征和标签组合成一个...

Dr_jiabin的博客 5万+

YOLOv5/v7/v8/v9/v10/v11/v12/13目标检测结果解析,超w字精读,IoU、GIoU、DIoU、CIoU、EIoU详细解释,精确率、召回率、AP、mAP与P-R 曲线图深度解析

YOLOv5/v7/v8/v9/v10/v11/v12/13目标检测结果解析,超w字精读,IoU、GIoU、DIoU、CIoU、EIoU详细解释,精确率、召回率、AP、mAP与P-R 曲线图深度解析

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 1413

【AI Agent】Hermes Agent解析

Hermes Agent:一个具备持久化学习能力的开源AI Agent框架 核心特点: 突破传统Agent的"无状态困境",通过记忆系统(SQLite+FTS5全文检索)实现跨会话经验积累 支持200+模型自由切换,11种模型家族和15+平台接入 五层架构设计(入口层、编排层、推理层、工具执行层、存储层)实现平台无关性 47+内置工具和动态技能沉淀机制,支持从任务执行中自动提炼可复用Skill 独特的四层记忆体系(会话/每日/长期/向量索引)和辩证式用户建模 与传统Agent对比: 具备自我进化能力,通过A

sysu_lluozh 948

tensorflow学习笔记:tf.data.Dataset,from_tensor_slices(),shuffle(),batch()的用法

tf.data.Dataset.from_tensor_slices: 它的作用是切分传入Tensor的第一个维度,生成相应的dataset。 例1: dataset = tf.data.Dataset.from_tensor_slices(np.random.uniform(size=(5, 2))) 传入的数值是一个矩阵,它的形状为(5, 2),tf.data.Dataset.from...

Rookiekk 1万+

Unity实战篇 | 教你怎样将Unity的启动Logo 设置成 自己制作的 帧动画

上一篇文章我们讲了怎样在不购买专业版的情况下自定义Unity的启动Logo。 那本篇文章就来介绍一下,怎样在去除默认Logo的前提下制作自己的启动动画!

努力前行,总会成为自己心中的那道光 6万+

使用tf.data.Dataset.from_tensor_slices五步加载数据集

tensorflow2 简单的数据加载5步法

rainweic的博客 3万+

GEE:耦合5个因子的kRSEI遥感生态指数(K Remote Sensing Ecological Index, KRSEI)计算

本文将介绍在 Google Earth Engine (GEE)平台上,如何耦合5个因子,进行 kRSEI 的计算。具体来说,分别计算了 `NDVI, WET, NDBSI,LST,NDRI` 5个因子,并使用 PCA 主成分分析方法计算了权重,最后,计算了 kRSEI 指数。

养乐多的博客 1416

基于 STM32 的校园电动车充电桩智能计费与过载保护系统设计与实现

本系统基于 STM32F103 主控,通过 HLW8032 电能计量芯片实现精准计费,配合继电器实现过载保护,RC522 模块完成刷卡身份识别,整体方案成本低、可靠性高,适合校园电动车集中充电场景的批量部署。软件采用状态机设计,逻辑清晰,可扩展多路充电口、远程监控等功能。

weixin_42300449的博客 58

tensorFlow2.1下的tf.data.Dataset.from_tensor_slices()和batch()的用法

1、tf.data.Dataset.from_tensor_slices 它的作用是切分传入Tensor的第一个维度,生成相应的dataset。 将输入的张量的第一个维度看做样本的个数,沿其第一个维度将tensor切片,得到的每个切片是一个样本数据。实现了输入张量的自动切片。 可以是numpy格式,也可以是tensorflow的tensor的格式,函数会自动将numpy格式转为tensorflo...

进击的Explorer 5136

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

tensorflow2中的tf.data.Dataset.from_tensor_slices()

tf.data.Dataset.from_tensor_slices()函数的参数是tensor。 该函数的作用是接收tensor,对tensor的第一维度进行切分,并返回一个表示该tensor的切片数据集 以minist训练集为例: x的shape为(60000,28,28),将x作为参数传递给tf.data.Dataset.from_tensor_slices(), 将返回一个含有60000个...

喜欢企鹅的博客 3489

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

tf.data.Dataset.from_tensor_slices()

函数原型: tf.data.Dataset.from_tensor_slices(tensors) 作用是切分传入tensor的第一个维度,生成相应的dataset 实例一 import tensorflow as tf import numpy as np x = np.random.uniform(size=(5, 2)) print(x) dataset = tf.data.Dataset.from_tensor_slices(x) for ele in dataset: print(ele)

胡图图的博客 3267

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

tf.data基础API使用(tf.data.Dataset.from_tensor_slices(),repeat,batch,interleave)

在这里主要绍tf.data基础API的使用。 1、tf.data.Dataset.from_tensor_slices: @staticmethod from_tensor_slices( tensors ) 创建一个数据集,其元素是给定张量的切片 请注意,如果张量包含NumPy数组,并且没有启用eager execution,则这些值将作为一个或多个tf.constant...

兰钧的博客 1139

【Python-Tensorflow】tf.data.Dataset的解析与使用

1 作用 dataset = tf.data.Dataset…() 构建和处理数据集。包括三种类型的操作。 根据输入数据创建源数据集。 应用数据集转换以预处理数据。 遍历数据集并处理元素。 2 tf.data.Dataset的函数 2.1 from_generator() 通过生成器去创建dataset,该函数的参数用于传生成器 # 定义生成器 def gen(): ragged_tensor = tf.ragged.constant([[1, 2], [3]]) yield 42, r

BetterBench的博客 1万+

Tensorflow2.0 tf.data.Dataset.from_tensor_slices 自定义图像数据集 (一)

Pytorch 标准二级目录名为类别的图像存储格式数据,采用Pytorch自带API db = torchvision.datasets.ImageFolder(root='dir', transform=preprocess) Tensorflow 标准二级目录名为类别的图像存储格式数据,采用Pytorch自带API db = torchvision.datasets.ImageFolder(...

Forrest97的博客 3186

tensorflow:tf.data.Dataset用法解析和模型实战

以一个特征和标签数据输入为例通过from_tensor_slices将python的元组,字段对象转化为DatasetV1Adapter对象,batch操作将数据拓展一维,make_one_shot_iterator将DatasetV1Adapter转化为tensorflow可迭代对象,通过get_next获取管道数据,输出是一个元组或者字典形式的tensorflow的Tensor。因为这个行业不同于其他行业,知识体系实在是过于庞大,知识更新也非常快。

2401_85327249的博客 958

Tensorflow2.0入门教程10:tf.data.Dataset使用介绍, my write

1: 准备要加载的数据(numpy,tensor2: 使用tf.data.Dataset.from_tensor_slices() 函数进行加载3: 使用shuffle()打乱数据4: 使用map()函数进行预处理5: 使用batch()函数设置 batch size 值6: 根据需要使用repeat()设置是否循环迭代数据集Keras 支持使用 tf.data.Dataset 直接作为输入。

小硕算法工程师 1224

TensorFlow:tf.data.Dataset.from_tensor_slices 函数笔记

这个函数就是将输入的张量,按第一维度切分成多个小的张量。代码如下: import tensorflow as tf b = tf.random.normal([3, 1, 2, 1]) bb = tf.data.Dataset.from_tensor_slices(b) print(bb) print('-----------------------') for i in bb: ...

wenkao123456的博客 806
上一篇: tensorflow 基础: static shape VS Dynamic shape, get_shape VS tf.shape() , reshape VS set_shape
下一篇: tensorflow基础:tf.data.Dataset.from_tensor_slices() 与 tf.data.Dataset.from_generator()的异同
wzg2016
博客等级 码龄10年 539粉丝 493原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值