利用LEX实现词法分析器(vs2010 + Parser Generator版)

利用LEX实现词法分析器(vs2010 + Parser Generator版)


前言

 最近在学习编译原理,需要利用LEX自动生成一个词法分析器。下面把我个人的经验与大家分享一下。

 关于词法分析器生成工具LEX简介请大家参看http://www.cppblog.com/woaidongmao/archive/2008/11/30/68226.html

快速向导

如果您不希望详细了解配置的细节,而要在Visual Studio 2010中使用Parser Generator,请按以下步骤。此向导包含从安装到可编译代码的全过程,可替代一般向导。

l         配置环境

1.         下载并安装Parser Generator

2.         假定安装目录为“C:\Parser Generator 2”。

3.         启动Visual Studio 2010,菜单中选择“Tools”、“Options…”。

4.         在左侧列表中选择“Projects and Solutions”、“VC++ Directories”。(关于如何在vs2010中打开VC++目录请参考http://blog.chinaunix.net/uid-21375345-id-2953297.html

5.         在右上的下拉框中选择“Include files”,按下面的“New Line (Ctrl-Insert)”按钮,输入“C:\Parser Generator 2\Cpp\Include”(或你的安装路径)。

6.         在右上的下拉框中选择“Library files”,按下面的“New Line (Ctrl-Insert)”按钮,输入“C:\Parser Generator 2\Cpp\Lib\msvc32”(或你的安装路径)。

7.         在右上的下拉框中选择“Source files”,按下面的“New Line (Ctrl-Insert)”按钮,输入“C:\Parser Generator 2\Cpp\Source”(或你的安装路径)。

8.         单击“OK”,保存设置。

l         配置项目

1.         在Visual Studio 2010菜单中选择“File”、“New”、“Project…”。

2.         左侧选择“Visual C++”,右侧选择“Win32 Console Application”,在下面输入项目名称(如“my_compiler”),按“OK”。

3.         左侧选择“Application Settings”,右侧清除“Precompiled header”选项。(注:若不去掉,则应在LEX/YACC生成的CPP文件前加“#include “stdafx.h””一行文字。)

4.         单击“Finish”创建该项目。

5.         菜单中选择“Project”、“ Properties…”打开项目属性页。

6.         在顶端的“Configuration”中选择“Active(Debug)”或“Debug”。

7.        左侧选择“Configuration Properties”\“C/C++”\“Preprocessor”,右侧“Prepocessor Definitions”一项后面添加“;YYDEBUG”。

8.         左侧选择“Configuration Properties”\“C/C++”\“Code Generation”,右侧“Runtime Library”一项改为“Multi-threaded Debug (/MTd)”。

9.         左侧选择“Configuration Properties”\“Linker”\“Input”,右侧“Additional Dependencies”一项改为“ylmtd.lib”。

10.     点击“应用(A)”保存当前页设置。

11.    在顶端的“Configuration”中选择“Active(Release)”或“Release”。

12.     左侧选择“Configuration Properties”\“C/C++”\“Code Generation”,右侧“Runtime Library”一项改为“Multi-threaded(/MT)”。

13.     左侧选择“Configuration Properties”\“Linker”\“Input”,右侧“Additional Dependencies”一项改为“ylmt.lib”。

14.     点击“确定”保存当前页设置。

l         编译项目

1.         在Parser Generator中利用菜单“Project”中的“Parser Wizard”创建一个项目,并按“Rebuild All”按钮将他们编译为.h/.cpp文件。

2.         在Visual Studio 2010的“Solution Explorer”中选中您的项目名,点击右键,选择“Add”、“Existing Item…”,将Parser Generator生成的.h/.cpp文件导入项目。

3.         从工具栏的“Configuration”中选择“Release”。

4.         菜单中选择“Build”、“Build Solution”,编译项目。

软件环境

我进行配置的软件环境如下:

  • Windows 7 旗舰版
  • Microsoft Visual Studio 2010 Professional
  • Parser Generator 2.07

对源代码进行必要的修改

       Parser Generator库的源文件全部位于“\Parser Generator 2\Cpp\Source”文件夹中,其中共有300多个.c或.cpp文件。其中一部分需要经过修改才可以通过VS2010的编译。

       由于C编译器只允许用常量初始化全局变量,但PG库中多处用其他全局对象(如stdout)来初始化变量,因此我们需要把这些文件改名。具体方法是将“C:\Parser Generator 2\Cpp\Source”目录下的“*var.c”文件重命名为“*var.cpp”。

参考文献

l        在Visual Studio 2005的Visual C++中配置Parser Generator -http://www.tuc.cn/cgi-bin/bbs.cgi?q=show&id=tech&pid=20061017011421

l        vs2010中查看VC++目录 -http://blog.chinaunix.net/uid-21375345-id-2953297.html


实验二 词法分析器 一、实验目的 掌握词法分析器构造原理,掌握手工编程或LEX编程方法之一。 二、实验内容 编写一个LEX源程序,使之生成一个词法分析器,能够输入的源程序转换为单词序列输出。 三、实验环境 Flex+VC6.0 四、实验注意 1.Id正则表达式:{letter}({letter}|{digit})* 2.Num正则表达式:{digit}+(\.{digit}+)?(E[+-]?{digit}+)? 3.注释:(\/\*(.)*\*\/) 4.关键字再加上其他字符就又能编程id,所以在词法分析,id的判断应该放在关键字前面,这样才不会误判 5.由于本程序知识简单的打印数字,因此没有考虑数字的转换 6.">="比">"多一个字符,它应该放在前面判断,其他类似的也应该如此安排 五、实验代码 ******************************************************************************* 实验文件:lex.l、lex.yy.c 实验结果:lex.exe 运行方式:打开lex.exe,弹出input.txt,在其中输入所要测试的程序,保存并关闭,即可在output.txt中看到所得结果 ******************************************************************************* %{ void Install(char *type); %} %option noyywrap delim [ \t] newline [\n] digit [0-9] num {digit}+(\.{digit}+)?(E[+-]?{digit}+)? letter [A-Za-z] id {letter}({letter}|{digit})* key ("if"|"while"|"do"|"break"|"true") basic ("int"|"float"|"bool"|"char") op (">="|""|"<"|"="|"!="|"+"|"-"|"*"|"/") comment (\/\*(.)*\*\/) %% delim {;} newline {printf("\n");} {num} {Install("Num");} {key} {Install("Key");} {basic} {Install("Basic");} {op} {Install("Op");} ";" {Install("Comma");} {id} {Install("ID");} {comment} {Install("Comment");} "(" | "[" | "{" {Install("lbracket");} ")" | "]" | "}" {Install("rbracket");} %% void Install(char *s) { fprintf(yyout, "%s:%s ", s, yytext); } int main() { printf("please input the test program in input.txt\n"); system("input.txt"); yyin = fopen("input.txt", "r"); yyout = fopen("output.txt", "w" ); yylex(); fclose(yyout); fclose(yyin); printf("analysis result in output.txt\n"); system("output.txt"); return 0; } 六、实验小结 本次的实验由于使用了flex,所以代码较短,麻烦的事flex的正则式表达,由于该使用规则只有简单介绍,而网上找的教程难免有比重就轻之嫌,所以得到上述表达式着实费力,且有的没有成功,例如bracket的(\ ((.)*\ ))或者("("(.)*")")使用都没有成功,所以便单独写出,有点不伦不类。至于其他的,都较为简单,完。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值