TensorFlow通过dataset读入不同长度数据

1. 背景

dataset是tensorflow支持的一种新的数据读取方式，相对直接feed更加优雅，我个人比较喜欢这种方式。关于具体的使用方式，可以参考这篇文章https://towardsdatascience.com/how-to-use-dataset-in-tensorflow-c758ef9e4428。

但是在实际用的过程中，我遇到了一些问题，就是在load变长数据的过程中，会出问题，我的解决方式是通过generator来进行处理。

2. 问题

例如，直接通过tensor来inti dataset

import tensorflow as tf

data=[[1,2,3],[4,5]]
dataset=tf.data.Dataset.from_tensor_slices(data)

ValueError: Argument must be a dense tensor: [[1, 2, 3], [4, 5]] - got shape [2], but wanted [2, 3].

这种时候，会有error，这是因为[[1, 2, 3], [4, 5]]的shape是[2]，因为第二个维度没有fix长度，这种情况下，只能手动进行padding。

如果不想直接按照固定长度进行处理，还需要提前进行batch的处理，这个当然也是OK的，早期的tf代码其实很多都是这样做的。

但是，现在tf的dataset支持很多高级功能，并且通过feature column可以简化很多工作，提升效率，还是通过python裸写preprocess，有点原始。

所以，我找了一个处理的办法。

3. 解决办法

解决办法，其实在之前的wiki里面也有，就是通过generator来l