tf.data.Dataset介绍1-from_tensor_slices

原创已于 2022-04-11 13:18:51 修改 · 2.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow

于 2022-04-08 17:46:11 首次发布

tensorflow2.x 同时被 2 个专栏收录

39 篇文章

订阅专栏

深度学习基础

24 篇文章

订阅专栏

本文详细介绍了`tf.data.Dataset.from_tensor_slices`的使用，包括它如何处理不同类型的数据，如list、tuple、dict和tensor。该方法对输入的类型敏感，将数据切片，用于小数据内存处理。当输入是list或tensor时，它会按维度切割；对于外层的tuple或dict则不会。所有特征的向量维度需一致且大于等于1。示例展示了不同数据类型的切片结果。

1、tf.data.Dataset.from_tensor_slices使用

a.对输入的类型异常敏感，遇到第一个为list或tensor类型作为维度作为切割维度。小数据内存处理时使用。
b.对于外层tuple或dict的跳过不作为切割维度（可以视为多个tensor的列表或类似表现形式）。

c.tensor中每一个特征的向量维度要保持一致，且维度必须是大于等于1

例如，list数据格式slice

#list
list(tf.data.Dataset.from_tensor_slices([[1,3,4],[2,3,4]]).as_numpy_iterator())

Out[10]: [array([1, 3, 4]), array([2, 3, 4])]

#tuple
list(tf.data.Dataset.from_tensor_slices(([1,3,4],[2,3,4])).as_numpy_iterator())
Out[11]: [(1, 2), (3, 3), (4, 4)]


#dict
list(tf.data.Dataset.from_tensor_slices({"a":[1,2,3],"b":[5,6,7]}).as_numpy_iterator())
Out[12]: [{'a': 1, 'b': 5}, {'a': 2, 'b': 6}, {'a': 3, 'b': 7}]

#tensor
list(tf.data.Dataset.from_tensor_slices(tf.constant([[1,2,3],[4,5,6]])).as_numpy_iterator())
Out[13]: [array([1, 2, 3]), array([4, 5, 6])]

参考：tf.data.Dataset | TensorFlow Core v2.8.0