多分类：categorical_crossentropy和sparse_categorical_crossentropy计算softmax交叉熵

最新推荐文章于 2022-08-12 09:07:14 发布

原创

最新推荐文章于 2022-08-12 09:07:14 发布 · 4.5k 阅读

7 ·

CC 4.0 BY-SA版权

本文介绍了两种常见的深度学习损失函数：sparse_categorical_crossentropy和categorical_crossentropy。前者适用于标签为整数的情况，后者用于one-hot编码的标签。同时，讨论了from_logits参数对输出的影响，它决定了损失函数是否直接处理网络的logits输出。

1.sparse_categorical_crossentropy

label数组中的数据全为0-9，表示十种分类。

model = tf.keras.Sequential()

model.add(tf.keras.layers.Flatten(input_shape=(28,28)))
model.add(tf.keras.layers.Dense(128, activation=‘relu’))
model.add(tf.keras.layers.Dense(10, activation=‘softmax’))
model.compile(optimizer=‘adam’,
loss = ‘sparse_categorical_crossentropy’,
metrics=[‘acc’])

2.categorical_crossentropy

当labe使用one-hot编码时，使用categorical_crossentropy。比如北京[1, 0, 0] 上海[0, 1, 0] 深圳[0, 0, 1]

model = tf.keras.Sequential()
model.add(tf.keras.layers.Flatten(input_shape=(28,28)))
model.add(tf.keras.layers.Dense(128, activation=‘relu’))
model.add(tf.keras.layers.Dense(10, activation=‘softmax’))
model.compile(optimizer=‘adam’,
loss = ‘categorical_crossentropy’,
metrics=[‘acc’])