编译器Parser(MapleFE)简明手册

MapleFE是一个可适配的灵活使用的parser。它最大的特点是能够采用LL parsing算法解析左递归语法生成式。本文是一个简要说明,包括代码结构和使用方法。

MapleFE的组织结构在以往已经有过介绍(见过往知乎文章),此处再重复一下以便于说明。其结构如图一所示,parser是核心算法,通过遍历规则表格实现对左递归语法的解析。此外还包括了几个重要的辅助算法,autogen, recursion detector, lookahead detector,以及两个衍生工具ast2mpl和ast2cpp。

图一、MapleFE结构图

本文重点介绍MapleFE的使用方法。主要包括几个部分。(1)代码结构及部分算法的简要说明;(2)如何实现一个语言的parser;(3)描述语法规范的.spec文件如何写;(4)以TypeScript为例简要介绍如何编译及运行MapleFE。

【一】 代码结构

MapleFE包括几个主要目录如图二所示。

图二、MapleFE目录

1. shared目录存放语言无关的代码,包括了许多核心算法。这些核心代码是parser的灵魂。

a. parser和lexer的算法代码。这是整个前端的核心部位。无论是parser还是lexer都依赖于autogen产生的table(autogen描述见下文),通过遍历table来match合适的语法规则。对于parser来说,为了能够解析左递归,它的算法变得略微复杂,但是基本思想非常简单,就是模拟人脑的思维来处理递归,即,对一个递归语法,一遍又一遍的尝试能不能match当前的token,如果可以,则可以得到一颗match的树,然后开始尝试后面的token,直到失败或者成功为止。如果成功的话,则将每一遍match的结果叠加起来,就构成一个完整的match树(此时并不是语法树,代码中是AppealNode构成的树)。思想虽然简单,具体代码实现却非常复杂。

b. ASTBuilder。代码在ast_builder.cpp。这是在parse成功之后将前面的match树生成语法树(AST)的过程。ASTBuilder同样依赖autogen产生的table,因为在这些table中除了包含语法规则以外,也包括了每条语法规则生成语法树时需要调用的接口。这些接口在书写spec规则时同时书写。具体说明见下文。

c. AST。代码主体在ast.cpp。这是语法树上不同Node的实现代码。完整的一颗语法树由各种节点构成,通过父子关系构成树。所有的Node都继承自最基本的TreeNode。详细代码参考shared/include/ast.h。

2. autogen目录存放autogen工具的代码,这是一个独立的工具,会单独运行。这也是语言无关的。它的功能是读取spec文件,把spec文件里面的每一条语法生成式转换成一个c++的table,并生成相应的.h文件和.cpp文件。比如,Java语法规则生成的table都放在output/java/gen/*.h(cpp),TypeScript生成的table放在output/typescript/gen/*.h(cpp)。

3. recdetect目录存放recdetect工具的代码,这是一个独立的工具,会单独运行。这也是语言无关的。它的功能是读取output里面由autogen生成的cpp文件中的table,即所有语法规则对应的数据表格,通过分析,寻找所有的左递归,并组织成c++表格的形式,输出到文件gen_

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值