深入解析DoctorWkt/acwj项目中的语法分析器实现

深入解析DoctorWkt/acwj项目中的语法分析器实现

acwj A Compiler Writing Journey 项目地址: https://gitcode.com/gh_mirrors/ac/acwj

前言

在编译器构建的旅程中，语法分析器(Parser)扮演着至关重要的角色。本文将深入探讨DoctorWkt/acwj项目中语法分析器的实现原理，帮助读者理解如何从零开始构建一个简单的数学表达式解析器。

语法分析器的基本概念

语法分析器的主要任务是识别输入代码的语法结构，并验证其是否符合预定义的语法规则。在DoctorWkt/acwj项目中，当前支持的语法元素包括：

• 四种基本数学运算符：*、/、+和-
• 十进制整数（由一个或多个数字0-9组成）

BNF语法定义

为了准确定义语言的语法规则，项目采用了巴科斯范式(BNF)来描述数学表达式的语法结构：

expression: number
          | expression '*' expression
          | expression '/' expression
          | expression '+' expression
          | expression '-' expression
          ;

number:  T_INTLIT
         ;

这个BNF定义说明了：

1. 一个表达式可以只是一个数字
2. 或者是由运算符连接的两个表达式
3. 数字始终由T_INTLIT标记表示

在BNF术语中，"expression"和"number"被称为非终结符，因为它们由语法规则定义；而T_INTLIT和运算符标记则是终结符，因为它们直接来自词法分析器。

递归下降分析法

由于语法定义本身是递归的，项目采用了递归下降分析法来实现解析器。这种方法的核心思想是：

1. 读取当前标记
2. 预读下一个标记
3. 根据下一个标记决定解析路径，可能需要递归调用解析函数

伪代码示例：

function expression() {
  扫描并验证第一个标记是数字，否则报错
  获取下一个标记
  如果到达输入末尾，则返回（基本情况）
  否则，递归调用expression()
}

抽象语法树(AST)的实现

为了后续的语义分析，项目将解析后的表达式转换为抽象语法树(AST)。AST节点的数据结构定义如下：

// AST节点类型枚举
enum {
  A_ADD, A_SUBTRACT, A_MULTIPLY, A_DIVIDE, A_INTLIT
};

// 抽象语法树结构
struct ASTnode {
  int op;                       // 该树节点要执行的操作
  struct ASTnode *left;         // 左右子树
  struct ASTnode *right;
  int intvalue;                 // 对于A_INTLIT类型，存储整数值
};

AST节点分为几种类型：

• 二元操作节点（如A_ADD、A_SUBTRACT）：包含左右子树
• 字面量节点（A_INTLIT）：仅包含整数值

AST构建函数

项目提供了几个辅助函数来简化AST的构建：

// 创建通用AST节点
struct ASTnode *mkastnode(int op, struct ASTnode *left,
                         struct ASTnode *right, int intvalue);

// 创建叶子AST节点（无子节点）
struct ASTnode *mkastleaf(int op, int intvalue);

// 创建一元AST节点（仅有一个子节点）
struct ASTnode *mkastunary(int op, struct ASTnode *left, int intvalue);

初始解析器实现

项目的初始解析器实现包含几个关键组件：

1. 标记到AST操作类型的转换函数：

int arithop(int tok) {
  switch (tok) {
    case T_PLUS:    return (A_ADD);
    case T_MINUS:   return (A_SUBTRACT);
    case T_STAR:    return (A_MULTIPLY);
    case T_SLASH:   return (A_DIVIDE);
    default:        // 错误处理
  }
}

2. 基础表达式解析函数：

static struct ASTnode *primary(void) {
  // 对INTLIT标记，创建叶子节点
  // 其他标记类型则报语法错误
}

3. 主解析函数：

struct ASTnode *binexpr(void) {
  // 解析左侧表达式
  // 如果没有更多标记，返回左侧节点
  // 转换当前标记为节点类型
  // 递归解析右侧表达式
  // 构建并返回包含左右子树的节点
}

需要注意的是，这个初始实现尚未处理运算符优先级问题，导致构建的AST结构不正确。例如，对于表达式2 * 3 + 4 * 5，它会错误地构建为2 * (3 + (4 * 5))的AST结构。

AST解释执行

项目包含一个AST解释器，用于递归遍历AST并计算结果：

int interpretAST(struct ASTnode *n) {
  // 获取左右子树的值
  // 根据节点类型执行相应操作
  // 返回计算结果
}

解释器的工作流程是深度优先的：

1. 先解释左子树
2. 再解释右子树
3. 最后在根节点执行操作

当前实现的局限性

虽然当前解析器能够识别基本的数学表达式语法，但它存在几个重要限制：

1. 没有正确处理运算符优先级，导致计算结果错误
2. 语法错误检测能力有限
3. 仅支持最基本的数学运算

总结

DoctorWkt/acwj项目的这一部分展示了如何构建一个基本的递归下降解析器，将输入表达式转换为AST，并解释执行。虽然当前实现存在运算符优先级处理的问题，但它为后续的改进奠定了良好基础。

在下一阶段的开发中，项目将增强解析器的语义分析能力，特别是正确处理运算符优先级，从而生成正确的AST结构并获得准确的计算结果。

acwj A Compiler Writing Journey 项目地址: https://gitcode.com/gh_mirrors/ac/acwj