TINY+Scanner词法分析程序设计

任务：理解 TINY 语言的词法及词法分析器的实现，并基于该词法分析器， 实现拓展语言 TINY+的词法分析器。 
 

要求： 

（1） TINY+词法分析器以 TINY+源代码为输入，输出为识别出的 token 序 列； 

（2） 词法分析器以最长匹配为原则，例如‘:=’应识别为赋值符号而非单独 的‘：’及‘=’； 

（3） Token 以（种别码，属性值）表示，包含以下类型的种别码：

        a) KEY 为关键字； 

        b) SYM 为系统特殊字符； 

        c) ID 为变量； 

        d) NUM 为数值常量； 

        e) STR 为字符串常量。 

（4） 识别词法错误。词法分析器可以给出词法错误的行号并打印出对应的 出错消息，主要包含以下类型的词法错误： a) 非法字符。即不属于TINY+字母表的字符，比如$就是一个非法字符； b) 字符串匹配错误，比如右部引号丢失，如‘scanner c) 注释的右部括号丢失或匹配错误，如 {this is an example 

核心代码：

typetoken定义集：

globals.h

typedef enum 
    /* book-keeping tokens */
   {ENDFILE,ERROR,
    /* reserved words */
    IF,THEN,ELSE,END,REPEAT,UNTIL,READ,WRITE,TRUE1,FALSE1,OR,AND,NOT,INT,BOOL1,STRING,FLOAT,DOUBLE,DO,WHILE,
    /* multicharacter tokens */
    ID,NUM,STR,
    /* special symbols */
    ASSIGN,EQ,LT,MT,ME,LE,PLUS,MINUS,TIMES,OVER,LPAREN,RPAREN,SEMI,COMMA,UPDOX,PERCENT
   } TokenType;

扫描器：