14、图像语义表示与字符识别技术解析

图像语义表示与字符识别技术解析

在图像处理和自然语言处理领域，图像语义表示与字符识别是两个重要的研究方向。图像语义表示旨在为图像生成准确且有吸引力的描述，而字符识别则聚焦于从图像中提取文本信息。以下将详细介绍这两个方向的相关技术。

图像描述生成技术

• X - linear注意力块 ：通过二阶交互增强自注意力，对视觉编码和语言模型有一定的改进作用。
• 卷积方法 ：Aneja等人将CNN用作语言模型，把向量和词嵌入相结合后输入CNN。训练时所有单词并行操作，推理时按顺序操作，卷积采用右覆盖方式防止语言模型使用后续词元信息。不过，由于性能限制和Transformer的出现，该方法未得到广泛应用。
• 基于Transformer的方法 ：处理图像区域时，图像描述可转化为序列问题，因此Transformer也可用于图像描述生成。标准Transformer解码器先进行隐藏注意力操作，再应用于单词，接着进行交叉自注意力操作，单词作为查询，最后一层编码器的输出作为键和值，输入前馈神经网络。训练过程中使用掩码机制约束单向生成过程。后来出现了许多基于Transformer的变体方法：
  • Li等人提出了用于交叉注意力算子的门控机制，通过组合和调制图像区域表示与外部标记的语义属性来控制视觉和语义信息的流动。
  • Ji等人集成了上下文门控机制，通过多头注意力机制调节全局图像表示对每个生成单词的影响。
  • Cornia等人考虑了所有编码层，而非仅在最后一层进行交叉注意力操作。