19、图像与视频字幕生成技术全解析

图像与视频字幕生成技术全解析

1. 字幕生成模型优化

在字幕生成模型中，添加匹配正则化项有着重要意义。其损失函数中的加法匹配项能使视觉表征和文本表征在共同空间中更为接近，从而让字幕生成模型能够区分相似的图像、视频或字幕。

另外，预测图像或视频属性也可提升字幕生成任务的效果。具体而言，预测用于描述图像或视频的词汇，能够提高字幕生成的性能。同时，将预测的属性注入字幕生成模型的解码器，可改善生成字幕的质量。

2. 推理时优化字幕质量的方法

在推理阶段，有多种技巧可提升字幕质量，这里着重介绍束搜索和重排序两种方法。
- 贪心搜索与束搜索 ：字幕与给定图像或视频对应的概率可基于解码器的隐藏状态迭代计算。在推理时，字幕生成任务的目标是找到输入图像或视频的最可能字幕。贪心搜索是一种简单方法，即在每一步选择最可能的单词，但该算法存在偏差。若最可能的字幕中仅有一个不太可能的单词，贪心算法将永远不会选择它。为解决此问题，许多工作采用束搜索算法。束搜索会在内存中保留 B 个不同的可能句子（B 为束大小），算法结束时，从这些保留的句子中选择最佳字幕。当 B = 1 时，束搜索就变成了贪心搜索。
- 字幕重排序 ：除束搜索外，选择最可能的字幕并非总是最佳解决方案，字幕重排序也能提升结果。其做法是生成多个句子，然后为每个句子计算得分以细化排名。例如，使用匹配模型评估句子与图像或视频的匹配程度，可改善字幕生成结果。

3. 字幕质量评估指标

有多种指标用于评估字幕生成模型，这些指标最初是为翻译任务设计的，由于字幕生成任务可视为一种翻译任务，因此也广泛