seq2seq模型中最后的Loss该如何计算

最新推荐文章于 2025-01-16 13:14:17 发布

原创

最新推荐文章于 2025-01-16 13:14:17 发布 · 5.8k 阅读

1 ·

CC 4.0 BY-SA版权

本文深入探讨了seq2seq模型中损失函数的计算方法，解析了在训练过程中的目标函数设置，包括如何处理不同长度的输入和输出序列，以及softmax层在计算交叉熵损失时的处理策略。通过理解这一关键环节，读者将更好地掌握seq2seq模型的训练过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!coding=utf-8
import numpy as np
import tensorflow as tf
from tensorflow.contrib.seq2seq import sequence_loss

'''
为了探究 seq2seq 中的loss具体改如何计算, 依据的标准是 tensorflow.contrib.seq2seq.sequence_loss
Note: 忘了从哪看的了, 训练的loss要用 batch的loss, 也就是 batch_loss / batch 而不是 batch_loss/num_predict_words.
'''

# logits
output_np = np.array(
    [
        [[0.6, 0.5, 0.3, 0.2], [0.9, 0.5, 0.3, 0.2], [1.0, 0.5, 0.3, 0.2]],
        [[0.2, 0.5, 0.3, 0.2], [0.3, 0.5, 0.3, 0.2], [0.4, 0.5, 0.3, 0.2]]
    ]
)
print(output_np.shape)  # (2, 3, 4)
target_np = np.array([[0, 1, 2], [3, 0, 1]], dtype=np.int32)
target_lengths = np.array([3, 2],  dtype=np.int32)

output = tf.convert_to_tensor(output_np, np.float32)
target = tf.convert_to_tensor(target_np, np.int32)
weights = tf.convert_to_tensor(target_lengths, np.float32)

max_target_sequence_length = tf.reduce_max(weights, name='max_target_len')
masks = tf.sequence_mask(weights, max_target_sequence_length, dtype=tf.float32, name='masks')

cost1 = sequence_lo