自制编程语言(1)---词法分析

最新推荐文章于 2023-02-07 23:47:02 发布

原创

最新推荐文章于 2023-02-07 23:47:02 发布 · 684 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#自制编程语言

本文介绍了一种词法分析器的设计与实现方法，主要采用状态机和直接写词法分析两种方式。通过代码讲解，详细介绍了词法分析器的结构和工作原理，包括关键字存储、输入代码处理及token队列管理。

0.简介

本次编写词法分析器，形式为代码讲解。

1.词法分析

词法分析我了解的有两种，一类是状态机，根据遇到不同的字符转换到不同的状态来决定下一个字符应该是什么，另一种就是直接写词法分析，简单的if判断。前者实现的代码很少(可参见本人博客编译原理栏目下)，，但是需要一个状态转换表，随着词法分析的内容变多，这个表格也会很大，比较难维护，后者虽然代码写的多一些，但是逻辑上容易理解，也容易修改。

以下代码在别的教程中有所参照，但是自己改编而成，本系列部分思想来自于这里，喜欢的可以去看看，跟着学还是有所收获的。

下面是Parser目前的结构，代码中有详细注释，具体请代码请看简介篇的源码连接。源码中有详细注释。

class Parser
{
	//当前正在使用的token
	std::tuple<Token, std::string> currentToken;

	//token缓存队列，方便语法分析的时候能向后查看多个token
	std::vector<std::tuple<Token, std::string>> tokenQueue;

	//关键字存储
	std::unordered_map<std::string, Token> keyWords;

	//输入的代码
	std::fstream fs;
	//行
	int line = 1;
	//列
	int column = 0;
public:
	Parser(){}
	Parser(std::string fileName);
	//初始化token队列
	void initTokenQueue(int n);
	//获取下一个token
	std::tuple<Token, std::strin