Python的抽象语法树(二)
在之前的Python 的抽象语法树(一),我们阐述了一个字符串表达式是如何按照Python的文法定义生成对应的抽象语法书的。
今天我们就借助一个简单的小例子,来感受下Python生成抽象语法书的具体过程:
k = 5
print k
这个例子的词法分析过程在之前的文章已经分析过,读者可自行查阅。
从Token到CST
Python的语法解析相关代码依然是在parsetok,整个程序的逻辑大致如下:
一个循环,不断解析输入的字符串
从字符串中解析初对应的Token
每解析出一个Token,就通过PyParse_AddToken进入CST的创建过程。
这里有两点是需要特别注意的: 在Python中词法分析并不是全部做完再进入词法分析环节。
词法分析默认衔接的是CST
那什么是CST呢?就是与抽象语法书对应的具体语法树。为什么要有这两者之分呢?
读者朋友可以回忆下在上一篇语法分析我曾经画的两幅图:
在具体语法树中, 树