编译原理词法分析器C源代码

C语言词法分析器
最新推荐文章于 2023-03-24 20:56:28 发布
最新推荐文章于 2023-03-24 20:56:28 发布 · 213 阅读 · 0

本文介绍了一个使用C语言编写的简单词法分析器程序，该程序能够从输入文件中读取代码，并将代码分解为一系列有意义的符号，如关键字、标识符、数字等。这些符号随后被写入到输出文件中。 
 #include <stdio.h>

#define MAX 500  /*标识符的最大长度*/

main()
{
 FILE *in,*out;

 char word[MAX];   /*存储标识符*/
 char cp;    /*存储当前读入字符*/
 int i;

 if((in=fopen("in.txt","r"))==NULL)
 {
  printf("不能打开文档in.txt，请检查根目录下是否存在该文档\n");
  exit(0);
 }
 else
 {
  printf("成功打开文档in.txt\n");
 }

 if((out=fopen("out.txt","w"))==NULL)
 {
  printf("不能打开文档out.txt，请检查根目录下是否存在该文档\n");
  exit(0);
 }
 else
 {
  printf("成功打开文档out.txt\n");
 }

 cp=fgetc(in);
 while(cp!=EOF)
 {
  /*消耗掉空格，制表符，换行符*/
  while(cp==' '||cp=='\t'||cp=='\n')
  {
   cp=fgetc(in);
  }

  /*cp数组复位*/
  i=0;

  /*数字检测*/
  if(cp>='0'&&cp<='9')
  {
   word[i++]=cp;
   cp=fgetc(in);
   while(cp>='0'&&cp<='9')
   {
    word[i++]=cp;
    cp=fgetc(in);
   }
   if(cp==' '||cp=='\t'||cp=='\n'||cp=='='||cp=='+'||cp=='-'||cp=='*'||cp=='/'||cp=='>'||cp=='<'||cp=='!'||cp==';'||cp==':'||cp==','||cp=='{'||cp=='}'||cp=='['||cp==']'||cp=='('||cp==')')
   {
    word[i]='\0';
    fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',28,')');
   }
   else
   {
    while(cp!=' '&&cp!='\t'&&cp!='\n'&&cp!='='&&cp!='+'&&cp!='-'&&cp!='*'&&cp!='/'&&cp!='>'&&cp!='<'&&cp!='!'&&cp!=';'&&cp!=':'&&cp!=','&&cp!='{'&&cp!='}'&&cp!='['&&cp!=']'&&cp!='('&&cp!=')')
    {
     word[i++]=cp;
     cp=fgetc(in);
    }
    word[i]='\0';
    fprintf(out,"%s%c%s%c%s\n","error: ",'"',word,'"',"不是合法的标识符");
   }
   continue;
  }

  /*字符串检测*/
  if((cp>='a'&&cp<='z')||(cp>='A'&&cp<='Z')||cp=='_')
  {
   while((cp>='a'&&cp<='z')||(cp>='0'&&cp<='9')||(cp>='A'&&cp<='Z')||cp=='_')
   {
    word[i++]=cp;
    cp=fgetc(in);
   }


   if(cp==' '||cp=='\t'||cp=='\n'||cp=='='||cp=='+'||cp=='-'||cp=='*'||cp=='/'||cp=='>'||cp=='<'||cp=='!'||cp==';'||cp==':'||cp==','||cp=='{'||cp=='}'||cp=='['||cp==']'||cp=='('||cp==')')
   {
    word[i]='\0';
    /*基本保留字检测*/
    if(strcmp(word,"main")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',1,')');
    else if(strcmp(word,"void")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',2,')');
    else if(strcmp(word,"int")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',3,')');
    else if(strcmp(word,"float")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',4,')');
    else if(strcmp(word,"double")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',5,')');
    else if(strcmp(word,"char")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',6,')');
    else if(strcmp(word,"struct")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',7,')');
      else if(strcmp(word,"const")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',8,')');
    else if(strcmp(word,"extern")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',9,')');
    else if(strcmp(word,"register")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',10,')');
    else if(strcmp(word,"static")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',11,')');
    else if(strcmp(word,"if")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',12,')');
    else if(strcmp(word,"else")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',13,')');
    else if(strcmp(word,"switch")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',14,')');
     else if(strcmp(word,"case")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',15,')');
    else if(strcmp(word,"for")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',16,')');
    else if(strcmp(word,"do")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',17,')');
    else if(strcmp(word,"while")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',18,')');
    else if(strcmp(word,"goto")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',19,')');
    else if(strcmp(word,"continue")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',20,')');
    else if(strcmp(word,"break")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',21,')');
      else if(strcmp(word,"default")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',22,')');
    else if(strcmp(word,"sizeof")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',23,')');
    else if(strcmp(word,"return")==0)
     fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',24,')');

    else
     fprintf(out,"自定义标识符:%c%c%s%c,%d%c\n",'(','"',word,'"',29,')');
   }

   /*排错处理（只能以字母、数字、下划线构成）*/
   else
   {
     while(cp!=' '&&cp!='\t'&&cp!='\n'&&cp!='='&&cp!='+'&&cp!='-'&&cp!='*'&&cp!='/'&&cp!='>'&&cp!='<'&&cp!='!'&&cp!=';'&&cp!=':'&&cp!=','&&cp!='{'&&cp!='}'&&cp!='['&&cp!=']'&&cp!='('&&cp!=')')
     {
      word[i++]=cp;
      cp=fgetc(in);
     }
     word[i]='\0';
     fprintf(out,"%s%c%s%c%s\n","error: ",'"',word,'"',"不是合法的标识符");
   }
   continue;
  }

  /*运算符*/
  if(cp=='+')
  {
   word[i++]=cp;
   word[i]='\0';
   fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',31,')');
   cp=fgetc(in);
   continue;
  }
  if(cp=='-')
  {
   word[i++]=cp;
   word[i]='\0';
   fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',32,')');
   cp=fgetc(in);
   continue;
  }
  if(cp=='*')
  {
   word[i++]=cp;
   word[i]='\0';
   fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',33,')');
   cp=fgetc(in);
   continue;
  }
  if(cp=='/')
  {
       word[i++]=cp;

        cp=fgetc(in);
     if(cp=='*'){word[--i]='\0';while(cp!='/'){cp=fgetc(in);}cp=fgetc(in);}

     else
         fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',34,')');
             word[i]='\0';
   continue;
  }
  if(cp=='=')
  {
   word[i++]=cp;
   cp=fgetc(in);
   if(cp=='=')
   {
    word[i++]=cp;
    word[i]='\0';
    fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',39,')');
    cp=fgetc(in);
   }
   else
   {
    word[i]='\0';
    fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',27,')');
   }
   continue;
  }
  if(cp=='<')
  {
   word[i++]=cp;
   cp=fgetc(in);
   if(cp=='=')
   {
    word[i++]=cp;
    word[i]='\0';
    fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',36,')');
    cp=fgetc(in);
   }
   else
   {
    word[i]='\0';
    fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',35,')');
   }
   continue;
  }
  if(cp=='>')
  {
   word[i++]=cp;
   cp=fgetc(in);
   if(cp=='=')
   {
    word[i++]=cp;
    word[i]='\0';
    fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',38,')');
    cp=fgetc(in);
   }
   else
   {
    word[i]='\0';
    fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',37,')');
   }
   continue;
  }
  if(cp=='!')
  {
   word[i++]=cp;
   cp=fgetc(in);
   if(cp=='=')
   {
    word[i++]=cp;
    word[i]='\0';
    fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',40,')');
    cp=fgetc(in);
   }
   else
   {
    word[i]='\0';
    fprintf(out,"%s%c%s%c%s\n","error: ",'"',word,'"',"不是合法的标识符");
   }
   continue;
  }
  /*界符*/
  if(cp==';')
  {
   word[i++]=cp;
   word[i]='\0';
   fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',41,')');
   cp=fgetc(in);
   continue;
  }
  if(cp==':')
  {
   word[i++]=cp;
   word[i]='\0';
   fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',42,')');
   cp=fgetc(in);
   continue;
  }
  if(cp==',')
  {
   word[i++]=cp;
   word[i]='\0';
   fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',43,')');
   cp=fgetc(in);
   continue;
  }
  if(cp=='{')
  {
   word[i++]=cp;
   word[i]='\0';
   fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',44,')');
   cp=fgetc(in);
   continue;
  }
  if(cp=='}')
  {
   word[i++]=cp;
   word[i]='\0';
   fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',45,')');
   cp=fgetc(in);
   continue;
  }
  if(cp=='[')
  {
   word[i++]=cp;
   word[i]='\0';
   fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',46,')');
   cp=fgetc(in);
   continue;
  }
  if(cp==']')
  {
   word[i++]=cp;
   word[i]='\0';
   fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',47,')');
   cp=fgetc(in);
   continue;
  }
  if(cp=='(')
  {
   word[i++]=cp;
   word[i]='\0';
   fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',48,')');
   cp=fgetc(in);
   continue;
  }
  if(cp==')')
  {
   word[i++]=cp;
   word[i]='\0';
   fprintf(out,"%c%c%s%c,%d%c\n",'(','"',word,'"',49,')');
   cp=fgetc(in);
   continue;
  }
  /*不能识别的字符*/
  word[i++]=cp;
  cp=fgetc(in);
  word[i]='\0';
  fprintf(out,"%s%c%s%c%s\n","error: ",'"',word,'"',"不是合法的标识符");
 }

 fclose(in);
 fclose(out);
 printf("成功对in.txt文档内代码进行词法分析，分析结果保存在out.txt文档中\n");
 return 0;
}

iteye_7332
关注
编译原理词法分析器（C++版）源代码
01-05
自己实现的编译原理的词法分析器，是自己的实验作业，用Vs2017实现，可以直接运行，代码注释丰富，希望与大家交流学习！欢迎大家下载！
编译原理 词法分析 源代码
05-18
实验一：词法分析程序 一、实验目的     通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的类型码及单词符号的自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示） 二、实验要求 用C或C++写一个简单的词法分析程序，程序可以满足下列要求： 1、能分析如下几种简单的语言词法 (1) 标识符： ID=letter(letter|digit)* (2) 关键字（全部小写） main int float double char if then else switch case break continue while do for (3)整型常量：NUM=digit digit* (4)运算符 = + - * / < <= == != > >= ; （ ）? : (5)空格由空白、制表符和换行符组成，用以分隔ID、NUM、运算符等，字符分析时被忽略。 2、单词符号和相应的类别码 假定单词符号和相应的类别码如下： 单词符号 种别码 int 1 = 17 float 2 < 20 if 3 <= 21 switch 4 == 22 while 5 != 23 Do 6 > 24 标识符 10 >= 25 整型常量 11 ; 26 + 13 ( 27 - 14 ) 28 * 15 ? 29 / 16 : 30 3、词法分析程序实现的功能 输入：单词序列（以文件形式提供），输出识别的单词的二元组序列到文件和屏幕 输出：二元组构成： （syn，token或sum） 其中： syn 为单词的种别码 token 为存放的单词自身符号串 sum 为整型常数 例： 源程序： int ab； float ef=20； ab=10+ef； 输出： (保留字--1,int) (标识符--10,ab) (分号--26,;) (保留字--2,float) (标识符--10,ef) (等号--17,=) (整数--11,20) (分号--26,;) (标识符--10,ab) (等号--17,=) (整数--11,10) (加号--13,+) (标识符--10,ef) (分号--26,;) 4、自己准备测试数据存放于TestData.txt文件中，测试数据中应覆盖有以上5种数据，测试结果要求以原数据与结果对照的形式输出并保存在Result.txt中，同时要把结果输出到屏幕。 5、提前准备 ①　实验前,先编制好程序,上机时输入并调试程序。 准备好多组测试数据(存放于文件TestData.txt中)。 6、写出实验报告 报告格式：要求有实验名称、实验目的、实验要求、实验内容、实验小结。 其中实验内容包括算法分析、程序流程图及程序代码。
编译原理--词法分析器+语法分析器 源代码
01-07
词法分析器：1) 定义目标语言的可用符号表和构词规则； 2) 依次读入源程序符号，对源程序进行单词切分和识别，直到源程序结束； 3) 对正确的单词，按照它的种别以的形式保存在符号表中； 4) 对不正确的单词，做出错误处理。 算符优先算法： 若输入文法： E->E+T | T T->T*F | F F-> (E) | i 根据算符优先分析法，将赋值语句进行语法语义分析，翻译成等价的一组基本操作，每一基本操作用四元式表示
编译原理课程设计-词法分析器(附含源代码)
12-03
编译原理课程设计-词法分析器(附含源代码)
【编译原理】词法分析（C/C++源代码+实验报告）
热门推荐
要像蜗牛一样一步一步往上爬！
10-13 9万+
文章目录1 实验目的和内容1.1实验目的1.2实验内容2 设计思想2.1单词种类及其正规式2.2 根据正规式构造NFA2.3根据NFA构造DFA2.3.1根据替换规则构造未化简的DFA2.3.2最小化DFA3算法流程4源程序5调试数据5.1 测试样例一5.2 测试样例二5.3 测试样例三6实验调试情况及体会6.1 实验调试情况6.2 实验体会 1 实验目的和内容 1.1实验目的 （1）根据 PL/0 语言的文法规范，编写PL/0语言的词法分析程序；或者调研词法分析程序的自动生成工具LEX或FLEX，设计并实
编译原理词法分析器（C/C++）
沉在海里的鱼的博客
03-24 2万+
词法分析器不用多说，一开始我还不知道是什么样的，看了下别人的博客，再看看书，原来是输出二元组，这不就是字符串操作嘛。然后细看几篇博客，发现大都是用暴力判断来写的。我对代码重复性比较高的方法不太感冒，不是说我编程有多好，就是单纯的不喜欢。于是我就想到了用偏移量的方法，先弄好单词分类器，再用几个数组将关键字、运算符、界符的所有定义的字符串保存为全局变量，顺序要按单词分类器的顺序，然后根据这三种字符串在表中的位置，定一个偏移量。
编译原理词法分析器——C语言实现
秋刀鱼丢了水蜜桃
10-31 8110
词法分析器 （一）基本内容 实现一个可以识别C语言（子集）词法的程序，识别源代码中的每个词，并且将结果保存下来。 可识别的词包括 头文件：以#include开头的过滤为头文件 保留字：“auto”, “break”, “case”, “char”, “const”, “continue”, “default”, “do”, “double”, “else”, “enum”, “extern”,“f...
编译原理词法分析报告和源代码
04-21
- 设计并实现一个词法分析器，能够识别输入的源程序字符串中的单词，并将其转换为计算机更易于处理的形式。 - 加深对C语言的理解和应用能力。 ### 2. 实验内容 #### 2.1 输入输出 - **输入**：任意的一段程序...
精选资源
编译原理词法分析实验报告配套源代码.zip
08-12
词法分析器将输入的源代码字符串转化为一系列的记号，而解析器则根据记号构造抽象语法树（AST），进一步理解程序的结构。 “.idea”目录则是IDEA工作空间的配置文件夹，包含项目设置、运行配置、VCS集成等信息。...
精选资源
编译原理 实验一 词法分析器设计源代码+实验报告
04-10
识别单词的词法分析程序，包括实验报告和源代码、流程图、表格和测试文件等。 编写程序实现： 1、输入：txt文件（存放要分析的源程序） 2、输出：从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、...
编译原理词法分析器与语法分析器源代码&实验报告
05-18
本资源包括了编译原理这门课程所要求的两次实验——编写词法分析器和语法分析器的源代码及实验报告，对于没有头绪的同学们是一个很好的参考，可以有效的帮助你们打开思路
编译原理 源代码 词法分析器
01-05
编译原理词法分析器 输入单词 输出单词的内部表示 程序源代码
编译原理词法分析器源代码
05-01
很好的一个资源，保证你用的放心，编译用的是C语言办的，而且功能很齐全
编译原理 词法分析源代码
01-09
编译原理词法分析，绝对可用，本人用过的！
编译原理词法分析器代码
06-14
内容: 编写一个词法分析程序,并进行简单的词法进行分析. 设计思想: 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值，并促留在文件中。
精选资源
编译原理实验词法分析器
01-02
编译原理实验词法分析器 本实验的目的是设计和实现一个词法分析器，以加深对词法分析过程的理解，并掌握词法分析方法。实验中，我们将使用 C 语言实现一个简单的词法分析器，能够识别和分析 C 语言源程序中的单词...
编译原理 词法分析 源代码
GJ_007的博客
03-16 3197
#include&lt;iostream&gt;#include&lt;string&gt;#include&lt;fstream&gt;#include&lt;vector&gt;// C++中的一种数据结构,确切的说是一个类.它相当于一个动态的数组,当程序员无法知道自己需要的数组的规模多大时,用其来解决问题可以达到最大节约空间的目的.using namespace std;vector &lt...
c++实现词法分析器源代码（编译原理）
hry1999的博客
05-04 1万+
下面教大家用c++语言实现编译原理中的词法分析器。 一、运行说明： 1、电脑环境：win10+64位 2、编译软件：Dev-C++ 3、将要分析的程序或字符以txt（文本）形式存在文件夹中（我分析的是qq.txt,下图是它的存储路径） 附：qq.txt int main() { char inFile[40]; FILE *fpin; analyse(fpin); return 0; } 4、...
分享编译原理词法分析器的源代码与实现方法
在编译原理中，词法分析器（Lexer）是编译器的第一个阶段，负责将输入的源代码转换为令牌（Token）序列。令牌是源代码的基本语义单位，如关键字、标识符、字面量、操作符等。实现词法分析器的源代码是一个复杂且细致...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值