20、信号与符号表征的三大困境及LGN启发的视觉信息传输框架

信号与符号表征的三大困境及LGN启发的视觉信息传输框架

1. 信号与符号表征的困境

在视觉系统中，信号和符号表征面临着多种困境，这些困境影响着视觉信息处理的效率和准确性。

1.1 完整性与可行性困境

• 问题描述 ：信号表征面临着关系空间完整但难以处理的问题，而符号表征则在可处理的关系空间中工作，但不完整且难以证明其合理性。以立体处理问题为例，重要的视觉信息编码在视觉事件的关系中，二阶关系问题在立体处理中经常出现。
• 信号表征方法 ：直接基于信号的方法是通过某种模板匹配计算所有可能的对应关系，从而得到完整的视差图。即使使用对极约束，这种方法的计算成本也很高，二阶关系的全空间实际上难以处理。
• 稀疏化处理 ：稀疏化可以减小关系空间的大小。基元将语义定义较弱的像素值转换为具有强语义的稀疏类符号结构，从而浓缩视觉信息。由于强稀疏化，能够处理大视差，甚至更容易保留多个假设，便于在后续处理阶段做出更好的决策。不过，专注于语义相关信息带来的低计算复杂度优势，伴随着视差图稀疏的缺点，并且特征提取阶段的错误可能导致立体匹配中不可恢复的错误。
• 解决方法 ：
  • 信号表征策略 ：信号表征中有一些策略可以以可行的方式处理关系空间，如粗到细的跟踪机制。但如果在这些机制中跟踪多个假设，计算量不仅与图像大小有关，还与最大视差有关，且这些方法存在一定限制，不适用于（相对）宽基线立体。
  • <