实验一词法分析

已于 2024-10-13 21:42:23 修改
阅读量315 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 编译原理 文章标签： 汇编
于 2024-10-13 21:33:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/f3244077856/article/details/142904623

【问题描述】

请根据给定的文法设计并实现词法分析程序，从源程序中识别出单词，记录其单词类别和单词值，输入输出及处理要求如下：

   （1）数据结构和与语法分析程序的接口请自行定义；类别码需按下表格式统一定义；

   （2）为了方便进行自动评测，输入的被编译源文件统一命名为testfile.txt；输出的结果文件统一命名为output.txt，结果文件中每行按如下方式组织：

单词类别码 单词的字符/字符串形式(中间仅用一个空格间隔)

单词的类别码请统一按如下形式定义：

单词名称

类别码

单词名称

类别码

单词名称

类别码

单词名称

类别码

标识符

IDENFR

if

IFTK
了解本专栏 订阅专栏 解锁全文 超级会员免费看
编译原理实验--词法分析
柚子要学好计算机鸭
11-26 1026
编译原理实验之词法分析。请根据给定的文法设计并实现词法分析程序，从源程序中识别出单词，记录其单词类别和单词值，输入输出及处理要求如下： （1）数据结构和与语法分析程序的接口请自行定义；类别码需按下表格式统一定义； （2）为了方便进行自动评测，输入的被编译源文件统一命名为testfile.txt；输出的结果文件统一命名为output.txt
180110115-方澳阳-实验一词法分析1
08-08
实验旨在通过设计和实现一个C语言的词法分析程序，帮助学生深入理解词法分析的功能和实现方法，增强对高级语言，特别是C语言文法的认识，并了解有穷自动机、编码表和符号表在编译过程中的应用。 实验采用了C++作为...
编译原理实验报告 词法分析器实验报告
06-16
设计思想 (1)程序主体结构部分： 说明部分 %% 规则部分 %% 辅助程序部分 （2）主体结构的说明 在这里说明部分告诉我们使用的LETTER,DIGIT, IDENT(标识符,通常定义为字母开头的字母数字串)和STR(字符串常量,通常定义为双引号括起来的一串字符)是什么意思.这部分也可以包含一些初始化代码.例如用#include来使用标准的头文件和前向说明(forward ，references).这些代码应该再标记"%{"和"%}"之间;规则部分>可以包括任何你想用来分析的代码;我们这里包括了忽略所有注释中字符的功能,传送ID名称和字符串常量内容到主调函数和main函数的功能. （3）实现原理 程序中先判断这个句语句中每个单元为关键字、常数、运算符、界符，对与不同的单词符号给出不同编码形式的编码，用以区分之。 PL/0语言的EBNF表示 <常量定义>：：=<标识符>=<无符号整数>; <标识符>：：=<字母>={<字母>|<数字>}; <加法运算符>::=+|- <乘法运算符>::=*|/ <关系运算符>::==|#|<|<=|>|>= <字母>::=a|b|…|X|Y|Z <数字>::=0|1|2|…|8|9 三：设计过程 1． 关键字：void，main，if，then，break，int，Char，float，include，for，while，printfscanf 并为小写。 2．"+”;”-”;”*”;”/”;”:=“;”:”;”<“;”<=“;”>“;”>=“;”<>“;”=“;”(“;”)”;”;”;”#”为运算符。 3． 其他标记 如字符串，表示以字母开头的标识符。 4． 空格符跳过。 5． 各符号对应种别码 关键字分别对应1-13 运算符分别对应401-418，501-513。 字符串对应100 常量对应200 结束符# 四：举例说明 目标：实现对常量的判别 代码： digit [0-9] letter [A-Za-z] other_char [!-@\[-~] id ({letter}|[_])({letter}|{digit}|[_])* string {({letter}|{digit}|{other_char})+} int_num {digit}+ %% [ |\t|\n]+ "auto"|"double"|"int"|"struct"|"break"|"else"|"long"|"switch"|"case"|"enum"|"register"|"typedef"|"char"|"extern"|"return"|"union"|"const"|"float"|"short"|"unsigned"|"continue"|"for"|"signed"|"void"|"default"|"goto"|"sizeof"|"do"|"if"|"static"|"while"|"main" {Upper(yytext,yyleng);printf("%s,NULL\n",yytext);} \"([!-~])*\" {printf("CONST_string,%s\n",yytext);} -?{int_num}[.]{int_num}?([E][+|-]?{int_num})? {printf("CONST_real,%s\n",yytext);} "0x"?{int_num} {printf("CONST_int,%s\n",yytext);} ","|";"|"("|")"|"{"|"}"|"["|"]"|"->"|"."|"!"|"~"|"++"|"--"|"*"|"&"|"sizeof"|"/"|"%"|"+"|"-"|">"|"<"|">="|"<="|"=="|"!="|"&"|"^"|"|"|"&"|"||"|"+="|"-="|"*="|"/="|"%="|">>="|"<<="|"&="|"^="|"|="|"=" {printf("%s,NULL\n",yytext);} {id} {printf("ID,%s\n",yytext);} {digit}({letter})+ {printf("error1:%s\n",yytext);} %% #include <ctype.h> Upper(char *s,int l) { int i; for(i=0;i<l;i++) { s[i]=toupper(s[i]); } } yywrap() { return 1; } 五：DFA 六:数据测试 七：心得体会 其实匹配并不困难，主要是C++知识要求相对较高，只要把握住指针就好了。 附源程序： #include<iostream.h> #include<stdio.h> #include<stdlib.h> #include<string.h> int i,j,k,flag,number,status; /*status which is use to judge the string is keywords or not!*/ char ch; char words[10] = {" "}; char program[500]; int Scan(char program[]) { char *keywords[13] = {"void","main","if","then","break","int", "char","float","include","for","while","printf", "scanf"}; number = 0; status = 0; j = 0; ch = program[i++]; /* To handle the lettle space ands tab*/ /*handle letters*/ if ((ch >= 'a') && (ch <= 'z' )) { while ((ch >= 'a') && (ch <= 'z' )) { words[j++]=ch; ch=program[i++]; } i--; words[j++] = '\0'; for (k = 0; k < 13; k++) if (strcmp (words,keywords[k]) == 0) switch(k) { case 0:{ flag = 1; status = 1; break; } case 1:{ flag = 2; status = 1; break; } case 2:{ flag = 3; status = 1; break; } case 3:{ flag = 4; status = 1; break; } case 4:{ flag = 5; status = 1; break; } case 5:{ flag = 6; status = 1; break; } case 6:{ flag = 7; status = 1; break; } case 7:{ flag = 8; status = 1; break; } case 8:{ flag = 9; status = 1; break; } case 9:{ flag = 10; status = 1; break; } case 10:{ flag = 11; status = 1; break; } case 11:{ flag = 12; status = 1; break; } case 12:{ flag = 13; status = 1; break; } } if (status == 0) { flag = 100; } } /*handle digits*/ else if ((ch >= '0') && (ch <= '9')) { number = 0; while ((ch >= '0' ) && (ch <= '9' )) { number = number*10+(ch-'0'); ch = program[i++]; } flag = 200; i--; } /*opereation and edge handle*/ else switch (ch) { case '=':{ if (ch == '=') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') { words[j++] = ch; words[j] = '\0'; flag = 401; } else { i--; flag = 402; } break; } case'>':{ if (ch == '>') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') { words[j++] = ch; words[j] = '\0'; flag = 403; } else { i--; flag = 404; } break; } case'<':{ if (ch == '<') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') { words[j++] = ch; words[j] = '\0'; flag = 405; } else { i--; flag = 406; } break; } case'!':{ if (ch == '!') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') { words[j++] = ch; words[j] = '\0'; flag = 407; } else { i--; flag = 408; } break; } case'+':{ if (ch == '+') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') { words[j++] = ch; words[j] = '\0'; flag = 409; } else if (ch == '+') { words[j++] = ch; words[j] = '\0'; flag = 410; } else { i--; flag = 411; } break; } case'-':{ if (ch == '-') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') { words[j++] = ch; words[j] = '\0'; flag = 412; } else if( ch == '-') { words[j++] = ch; words[j] = '\0'; flag = 413; } else { i--; flag = 414; } break; } case'*':{ if (ch == '*') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') { words[j++] = ch; words[j] = '\0'; flag = 415; } else { i--; flag = 416; } break; } case'/':{ if (ch == '/') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') { words[j++] = ch; words[j] = '\0'; flag = 417; } else { i--; flag = 418; } break; } case';':{ words[j] = ch; words[j+1] = '\0'; flag = 501; break; } case'(':{ words[j] = ch; words[j+1] = '\0'; flag = 502; break; } case')':{ words[j] = ch; words[j+1] = '\0'; flag = 503; break; } case'[':{ words[j] = ch; words[j+1] = '\0'; flag = 504; break; } case']':{ words[j] = ch; words[j+1] = '\0'; flag = 505; break; } case'{':{ words[j] = ch; words[j+1] = '\0'; flag = 506; break; } case'}':{ words[j] = ch; words[j+1] = '\0'; flag = 507; break; } case':':{ words[j] = ch; words[j+1] = '\0'; flag = 508; break; } case'"':{ words[j] = ch; words[j+1] = '\0'; flag = 509; break; } case'%':{ if (ch == '%') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') { words[j++] = ch; words[j] = '\0'; flag = 510; } else { i--; flag = 511; } break; } case',':{ words[j] = ch; words[j+1] = '\0'; flag = 512; break; } case'#':{ words[j] = ch; words[j+1] = '\0'; flag = 513; break; } case'@':{ words[j] = '#'; flag = 0; break; } default:{ flag = -1; break; } } return flag; } main() { i=0; printf("please input a program end with @"); do { ch = getchar(); program[i++] = ch; }while(ch != '@'); i = 0; do{ flag = Scan(program); if (flag == 200) { printf("(%2d,%4d)",flag,number); } else if (flag == -1) { printf("(%d,error)",flag); } else { printf("(%2d,%4s)",flag,words); } }while (flag != 0); system("pause"); }
编译原理实验（一）——词法分析
antRain的博客
11-09 4971
编译原理实验（一）——词法分析实验要求参考程序实验截图 实验要求 输入为字符串（或待进行词法分析的源程序），输出为单词串，即由（单词，类别）所组成的二元组序列； 参考程序 #include <string> #include <iostream> #include <fstream> #include <set> using namespace st...
编译原理--实验1 词法分析
热门推荐
weixin_45775703的博客
01-12 1万+
文章目录前言1.1 实验目的1.2 实验任务1.3 实验内容1.3.1 实验要求1.3.2 输入格式1.3.3 输出格式1.3.4 样例1.3.5 C--语言文法1.4 程序代码1.4.1 程序流程图1.4.2 程序源码1.5 总结 前言 编译原理课程实验的实验课内容—构造词法分析程序。通过本次实验，希望对于编译原理中词法分析这个功能有更深和更好的理解。 1.1 实验目的 （1）理解有穷自动机及其应用。 （2）掌握 NFA 到 DFA 的等价变换方法、DFA 最小化的方法。 （3）掌握设计、编码、调试词法
编译原理课程实验一——词法分析
有学上就行.jpg
10-29 1678
编译原理课程实验一——词法分析 实验目的 巩固对词法分析的基本功能和原理的认识。 能够应用自动机的知识进行词法分析。 理解并处理词法分析中的异常和错误。 实验要求 掌握词法分析的基本功能，并将其实现。 词法分析程序应具有较好的可扩展性，应清晰明确。 除对相关问题的全面考虑外，还需对局部作一些优化考虑（如符号表） 实验内容 给出语言的词法规则描述 标识符、关键字、整常数、字符常数、浮点常数 单界符：+，-，X，:，… 双界符：/*，:=，… 注释 针对这种单词的状态转换图和程序框图 核心数据
实验一 词法分析程序设计与实现
06-20
### 实验一 词法分析程序设计与实现 #### 实验背景与目的 词法分析是编译原理中的一个重要组成部分，其主要任务是从源代码中提取出一个个具有独立意义的基本单位（即“单词”），并将这些单词转换为特定的种别码...
编译原理实验一 词法分析器.zip
07-05
C语言编写一个PL/0词法分析器，为语法语义分析提供单词，使之能把输入的字符串形式的源程序分割成一个个单词符号传递给语法语义分析，并把分析结果（基本字，运算符，标识符，常数以及界符）输出。（含实验报告，cpp...
哈工大编译原理实验一词法分析
04-27
哈工大的这个实验“编译原理实验一词法分析”旨在让学生熟悉并掌握词法分析的过程和方法，特别是通过确定有限自动机（DFA）来实现。 首先，我们要理解什么是词法分析。词法分析器，又称为扫描器或词法规则解析器，...
编译原理 实验一 词法分析器设计源代码+实验报告
04-10
识别单词的词法分析程序，包括实验报告和源代码、流程图、表格和测试文件等。 编写程序实现： 1、输入：txt文件（存放要分析的源程序） 2、输出：从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、...
单词的词法分析程序设计
12-24
对于给定的源程序（如C语言或Pascal等），要求从组成源程序的字符行中寻找出单词，并给出它们的种别和属性——输出二元组序列。以便提供给语法分析的时候使用。要求能识别所有的关键字，标志符等，并且能够对出先的一些词法规则的错误进行必要的处理
编译原理课程设计报告 词法分析程序实现
01-05
通过编写并上机调试一个词法分析程序，掌握在对程序设计语言的源程序进行扫描的过程中，将其分解成各类单词的词法分析方法。 词法分析器工作的第一步是输入源程序文本。输入串一般是放在第一个缓冲区中。词法分析的工作可以直接在这个缓冲区中进行。但在许多情况下，把输入串预处理一下，对单词符号的识别工作将比较方便。在设计过程中，使用状态转换图是设计词法分析程序的一种好途径。一个状态转换图可以用于识别一定的字符串。在输入时用户不得使用系统的保留字，并且把关键字作为保留字，成为一类特殊标识符来处理。 转换图容易用程序实现，让每一个状态结点对应一小段程序
华中科技大学 编译原理 词法分析 实验报告 c语言实现
06-09
华中科技大学 编译原理 词法分析 实验报告 c语言实现 报告 源程序
词法分析程序实验要求1
08-08
提交状态转换图.doc词法分析程序的编程实现（80分）编程实现词法分析器，提交可执行词法分析程序的源程序用java（或C++或C语言或其它预言）手工编程实现词法
《编译原理》词法分析程序设计方案
05-12
1．根据保留字和特殊符号表能区分出源文件中的保留字、普通标识符和特殊符号，并能进行简单的错误处理。 2．设计词法分析器模块调用结构图和各模块流程图。
编译原理 实验1 词法分析
weixin_43399489的博客
11-23 3198
1 运行结果 t1.txt: const a = 10; var b,c; procedure p; begin c:=b+a end; begin read(b); while b # 0 do begin call p;write(2*c);read(b) end end. t2: const a = 78; var b,c; begin a := 20; c := 5; if a < c then c := 2 * c else
编译原理实验一 词法分析
qq_42882082的博客
04-21 2691
编译原理实验一 词法分析 实验目的 （1）根据 PL/0 语言的文法规范，编写PL/0语言的词法分析程序；或者调研词法分析程序的自动生成工具LEX或FLEX，设计并实现一个能够输出单词序列的词法分析器。 （2）通过设计调试词法分析程序，实现从源程序中分出各种单方法；加深对课堂教学的理解；提高词法分析方法的实践能力。 （3）掌握从源程序文件中读取有效字符的方法和产生源程序的内部表示文件的法。 （4）掌握词法分析的实现方法。 （5）上机调试编出的词法分析程序。 实验内容 根据PL/0语言的文法规范，编写PL/
编译原理实验：词法分析
weixin_65590780的博客
11-29 429
hzkjdx的编译原理。
编译原理实验一词法分析器
小Tian的博客
05-04 699
编译原理实验一词法分析器,并实现文件读入和输出 #include<iostream> #include<cstring> #include<memory.h> #include<stdlib.h> #include<fstream> using namespace std; int isLetter(char ch){//...
实验一词法分析与语法分析
最新发布
03-11
### 关于词法分析与语法分析的实验内容 #### 一、概述 编译器构建中的两个重要阶段分别是词法分析和语法分析。这两个过程对于将源代码转换为目标机器指令至关重要[^1]。 #### 二、词法分析 词法分析的任务是从输入程序中读取字符流并将其分割成有意义的单元——记号(Token)[^2]。这些记号通常包括关键字、标识符、运算符以及分隔符等。为了实现这一目标，常常会定义正则表达式来描述每种类型的合法形式，并利用有限状态自动机(Finite State Automaton, FSA)来进行模式匹配操作。 ```python import re def lexical_analyzer(code_string): tokens_specification = [ ('NUMBER', r'\d+(\.\d*)?'), # Integer or decimal number ('ASSIGN', r':='), # Assignment operator ('END', r';'), # Statement terminator ('ID', r'[A-Za-z]+'), # Identifiers ('OP', r'[+\-*/]'), # Arithmetic operators ('NEWLINE', r'\n'), # Line endings ('SKIP', r'[ \t]+'), # Skip over spaces and tabs ('MISMATCH', r'.'), # Any other character ] tok_regex = '|'.join('(?P<%s>%s)' % pair for pair in tokens_specification) line_num = 1 line_start = 0 for mo in re.finditer(tok_regex, code_string): kind = mo.lastgroup value = mo.group() if kind == 'NEWLINE': line_start = mo.end() line_num += 1 elif kind == 'SKIP': pass elif kind == 'MISMATCH': raise RuntimeError(f'{value!r} unexpected on line {line_num}') else: yield (kind, value) for token_kind, token_value in lexical_analyzer("x := y + z;"): print(token_kind, token_value) ``` 上述Python脚本展示了如何创建简单的词法解析函数`lexical_analyzer()`用于处理字符串表示的小型编程语言片段[^3]。 #### 三、语法分析 一旦完成了词法分析工作，则进入到了下一个环节即语法分析。此部分旨在验证由前一步骤产生的序列是否遵循特定上下文无关文法规则(Context-Free Grammar)，从而形成抽象语法树(Abstract Syntax Tree, AST)[^4]。常用的技术有自顶向下(Top-down Parsing)方法如LL(k)或者自底向上(Bottom-up parsing)方式像LR(1)/SLR/LALR等。 ```antlr grammar SimpleExpression; prog: stat+ ; stat: expr NEWLINE # printExpr | ID ASSIGN expr NEWLINE # assign ; expr: expr op=('*'|'/') expr # MulDiv | expr op=('+'|'-') expr # AddSub | INT # int | ID # id | '(' expr ')' # parens ; NEWLINE : [\r\n]+ ; WS : [ \t]+ -> skip; INT : [0-9]+ ; ID : [a-zA-Z_][a-zA-Z_0-9]* ; ASSIGN : ':=' ; ``` 这段ANTLR语法规则是用来识别基本算术表达式的结构化信息，并能够区分变量赋值语句和其他类型的操作[^5]。 #### 四、总结 通过以上介绍可以了解到，在计算机科学领域内的编译原理课程里，学生将会接触到有关词法分析和语法分析的知识点及其实践应用案例研究。这不仅有助于加深理解高级软件开发背后的工作机制，也为后续深入学习编译优化提供了坚实的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值