CY_TEC的博客

我在改一个训练流程的时候，auc 总是在 0.5 左右徘徊。 检查了一下 loss 啥的，好像也没啥问题，后来逐行看了下代码才发现，传给 loss function 的 label 和 predicion 的 shape 对不上。 一个是 (N,) 一个是 (M,1)。 我去看了下 tf 里面的 binary_crossentropy，如下： @keras_export('keras.backend.binary_crossentropy') def binary_crossentropy(target,

最近使用 tensorflow dataset 的过程，以及不同方法的考量大概经历了一下几个过程。 把训练文件生成一个 tfrecord。 后来发现其实我们是按天更新的，于是改成了多个 tfrecord，读取的时候，直接传一个文件列表就行了。之所以这样，一方面是不需要每天重复更新之前的数据，另一方面是避免了生成太大的文件。 把本地生成的 tfrecord 放到 hdfs 上，训练的时候，直接读取 hdfs 文件。这样做的原因，主要是因为训练的服务器硬盘有限，同时有很多模型在使用。如果都把 tfrecord

读取 hdfs 上的文件，需要指定节点名以及配置好环境变量。 比如： filename_queue = tf.train.string_input_producer([ "hdfs://namenode:8020/path/to/file1.csv", "hdfs://namenode:8020/path/to/file2.csv", ]) 或者 filename_queue = tf.data.Dataset.list_files([ "hdfs://namenode:8020/p