8、编译器操作与代码生成详解

编译器操作与代码生成详解

在编程领域，编译器操作和代码生成是至关重要的环节，它们直接影响着程序的执行效率和性能。下面我们将深入探讨相关的知识。

1. 标记化源文件

标记化源文件是一种将源文件转换为更高效处理形式的方法。它将源文件中的字符和值映射为单字节标记。这种方式有诸多优点，例如可以帮助解释器更快地运行，因为处理单字节标记字符串比识别保留字字符串要高效得多。通常，基于标记化代码运行的解释器比基于纯文本运行的解释器快一个数量级。

从标记化形式重构原始源文件相对容易。标记化形式通常由一系列字节组成，这些字节直接映射到原始源文件中的字符串，如 if 和 print 。通过使用字符串表和一些额外的逻辑，就可以轻松地将标记化程序解密以获得原始源文件。不过，可能会丢失插入到源文件中的额外空格，但这几乎是唯一的区别。早期 PC 系统上的许多原始 BASIC 解释器就是这样工作的。用户输入一行 BASIC 源代码，解释器会立即对该行进行标记化，并将标记化形式存储在内存中。之后，当执行 LIST 命令时，解释器会对内存中的源代码进行反标记化以生成列表。

然而，标记化源文件也有局限性。它们通常使用专有格式，因此无法利用处理文本文件的通用工具，如 word count (wc) 、 entab 和 detab 。为了克服这个限制，大多数处理标记化文件的语言提供了将源文件反标记化并从标记化数据生成标准文本文件的功能，同时也能将 ASCII 文本文件重新标记化。程序员若要让此类语言的源文件通过基于文本的标准