MYC编译器源码之词法分析

词法解析的工作都由Tok类处理，其构造函数接受一个Io对象做文件处理，下面是Tok构造函数的源码：


复制代码
public Tok(Io ihandle)
{
    io = ihandle;
    // 初始化Token（字符归类）字典
    InitHash();            // initialize the tokens hashtable
    // 读入文件的第一个字符
    io.ReadChar();
    // 逐个扫描文件里的字符，获取
    // 第一个字符归类（Token）
    scan();
}
复制代码
 


构造函数中第一个函数调用InitHash的目的是将关键字和操作符解析成更容易识别的字符类型识别号 - Token，这样做的目的是为了便于语法解析器parser处理。例如，对于下面这条C语句： 


int foo(int a)
 


与其让语法解析器去逐个处理单个字符，词法解析器的作用是将去上面一行语句归类成类似下面的格式： 


T_INT T_IDENT ‘(‘ T_INT T_IDENT ‘)’