18、词法分析的高级技巧与上下文敏感问题处理

词法分析的高级技巧与上下文敏感问题处理

1. 不同通道广播令牌

1.1 问题提出

大多数编程语言会忽略标记之间的空白和注释，这给解析器带来了问题，因为它必须不断检查可选的空白和注释标记。常见的解决方案是让词法分析器匹配这些标记，但将它们丢弃。然而，在构建将旧代码转换为现代语言的翻译器时，我们需要保留注释和空白，同时又不想让解析器在标记之间不断检查它们。

1.2 ANTLR的解决方案

ANTLR的解决方案是将实际的语言标记（如标识符）通过一个通道发送给解析器，而将其他所有内容通过不同的通道发送。通道就像不同的无线电频率，解析器只调谐到一个通道，忽略其他通道上的标记。词法规则负责将标记放在不同的通道上，而 CommonTokenStream 类负责只向解析器呈现一个通道，同时保留原始的相对标记顺序。

1.3 示例代码

以下是修改后的Cymbol语法，将注释放在隐藏通道2，空白放在隐藏通道1：

WS
:
[ \t\n\r]+ -> channel(WHITESPACE) ;
// channel(1)
SL_COMMENT
:
'//' .*? '\n' -> channel(COMMENTS)
// channel(2)
;
@lexer::members {
public static final int WHITESPACE = 1;
public static final int COMMENTS = 2;
}

1.4 测试语法