词法分析器 c语言

最新推荐文章于 2025-05-19 15:57:59 发布
最新推荐文章于 2025-05-19 15:57:59 发布
阅读量1.4k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 编译
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/w329636271/article/details/8723709
本文介绍了一种使用C++实现的源代码解析方法，通过识别变量、关键字、常量等元素，将源代码分解成一系列有意义的符号。该方法能够处理包括变量声明、字符串、字符型常量及各种界符等在内的多种语法结构。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

设计思路：对于所有的以字母，或者下划线的字符串提取出来，然后在从这些字符串中识别出一进在关键字中的字符串。对于所有的数字组成的字符串我们都提取出来，便是整型变量，对于所有的以“开头的，我们要一直读取，知道读取到”结尾。这便是字符串，对于所有的字符型，我们有‘\n’,或者‘a’这两种情况，我们需要分类读取变可以了。剩下的便是界符，运算符，我们分别讨论就可以了。
先贴出一些部分代码：头文件 main.cpp
 #include <iostream>
#include <stdio.h>
#include <string>
#include <vector>
#include <algorithm>
#include <iomanip>
#define p_error 0
using namespace std;
struct node
{
	string str;
	int id;
	node(string s,int pid)
	{
		str = s;
		id = pid;
	};
	node()
	{
	};
};

int input()
{
	freopen("pre.txt","r",stdin);
	string str;
	int i;
	for( i = 0 ; i < 30 ; i++)
	{
		cin>>str;
		node mynode(str,i);
		arr.push_back( mynode);
		cout<<arr[i].str<<" "<<arr[i].id<<endl;
	}
	defiid = i;
	fclose(stdin);
	return 0;
}

//提取各个编码
int process()
{
	FILE * fp;
	if((fp = fopen("in.txt","rb"))== NULL)
	{
		return p_error;
	}
	char c ;//= fgetc(fp); //读取一个字符
	string str ="";
	while(myread(fp,c))
	{
		while( (c == '\n' || c == '\r' || c == '\t'|| c == 32) && myread(fp,c)) ;
		//判断是否为变量或者为关键字
		str = "";
		//识别出所有以字母或者下划线组成的变量，在从这些变量中识别出是否为关键字
		if( c!= EOF && ( c == '_' || isalpha(c)))
		{
			str = c;
			while( myread(fp,c) && (isalpha(c) || c == '_')) 
			{
				str += c;
			}
			fseek(fp,(sizeof(char) * -1),SEEK_CUR);
		//	if(str != "")
			//			cout<<str<<endl;
			insrtIntoAns(str);//判断插入哪一个表中标示符表还是关键字表
			str = "";
			continue;
		}

		
		//提取数字,所有的以数字组成的字符串
		if(  c!= EOF && isdigit(c))
		{
			str = c;
			while(c = fgetc(fp),c != EOF && isdigit(c))
			{
				str += c;
			}
			fseek(fp,(sizeof(char) * -1),SEEK_CUR);
				if(str != "")
						cout<<str<<endl;
			insertIntoVector(str,symbol,symid);
			str = "";
			continue;
		}

	    //提取字符串，以“开头的，以”结尾的 如果找不到以“结尾的，便是出错
		if( c!= EOF && (int)c == 34)
		{
			//cout<<(int)c<<endl;
			str += c;
			while(c = fgetc(fp) ,(int)c != 34 )
			{
				if(c == EOF) break;
				//cout<<str<<endl;
				str += c;
			}
			str+="\"";
			if(c == EOF)
			{
				cout<<"字符串错误\n";
				return p_error;
			}
			if(str != "")
						cout<<str<<endl;
			insertIntoVector(str,symbol,symid);
			str = "";
			continue;
		}
	
		//提取字符，两种情况‘a’，'\n'，分类提取出这两种情况
		if( c!= EOF && c == '\'')
		{
			cout<<"hello"<<endl;
			str += c;
			//两种情况‘a’，'\n'
			if( myread(fp,c))
			{
				str += c;
				if( c== '/' && myread(fp,c))
					str+=c;
			}
		
			if(!myread(fp,c) || c !='\'' ) {cout<<"字符读入错误"<<endl;	return p_error;}
			str+= c;
			if(str != "")
						cout<<str<<endl;
			insertIntoVector(str,symbol,symid);
			str = "";
			continue;
		}
		
		//提取界符
		cout<<"界符"<<c<<endl;
		str ="";
		switch(c)
		{
			case '(' :
			case ')' :
			case '{' :
			case '}' :
			case ',' :
			case ';' :
			case '+' : 
			case '-' :
			case '*' :
			case '/' : str = c;insertIntoVector(str,defi,defiid);break;
			case '<' :
			case '=' :
			case '>' :
				str += c;
				if( myread(fp,c ) && c == '=') 
				{ 
					str += c;
					insertIntoVector(str,defi,defiid);break;
				}
				else
				{
					fseek(fp,(sizeof(char) * -1),SEEK_CUR);
					insertIntoVector(str,defi,defiid);break;
				}
				break;
			default:
				cout<<"不能识别的字符"<<(int)c<<endl;

		}
		str = "";
	
	}
	fclose(fp);
	return 1;
}


输入：
int main()
{
     FILE * fp;
     char ch = 'a';
     ch ='/n';
     string p = "hello wor\'ld";
     if ((fp = fopen("in.txt","rb")) == NULL)
     {
         return 0;
     }
    char c = fgetc(fp);
    cout<<"now is"<<c <<endl;
    return 0;
}

输出
---------------------------------变量表----------------------------------------
main                1
FILE                2
fp                  3
ch                  4
string              5
p                   6
fopen               7
NULL                8
return              9
c                   10
fgetc               11
cout                12
endl                13
---------------------------------关键字表----------------------------------------
int                 31
(                   32
)                   33
{                   34
*                   35
;                   36
char                37
=                   38
if                  39
,                   40
==                  41
}                   42
<                   43
---------------------------------常量表----------------------------------------
'a'                 1
'/n'                2
"hello wor\'ld"     3
"in.txt"            4
"rb"                5
0                   6
"now is"            7


#include <iostream>
#include <stdio.h>
#include <string>
#include <vector>
#include <algorithm>
#include <iomanip>
#define p_error 0
using namespace std;
struct node
{
	string str;
	int id;
	node(string s,int pid)
	{
		str = s;
		id = pid;
	};
	node()
	{
	};
};
//  基本字、运算符、界符：一符一种； defi
// 标识符：统一为一种；ans
//常量：按类型编码； symbol
vector<node> arr,defi,ans,symbol;
//各个表的标号
int ansid = 0 ;
int symid = 0 ;
int defiid = 0;

#include "main.h"
int input()
{
	freopen("pre.txt","r",stdin);
	string str;
	int i;
	for( i = 0 ; i < 30 ; i++)
	{
		cin>>str;
		node mynode(str,i);
		arr.push_back( mynode);
		cout<<arr[i].str<<" "<<arr[i].id<<endl;
	}
	defiid = i;
	fclose(stdin);
	return 0;
}
int isInVector(string str,vector<node> &p)//如果str 存在关键字表中就返回他的关键字的标识id
{
	if(p.size() > 0)
	for(vector<node>::iterator it = p.begin();it != p.end();it++)
	{
		if(it->str == str) return	it->id;
	}
	return -1;
}
//向表内插入str串，编号为id
void insertIntoVector(string str,vector<node> &p,int &id)
{
	if(str != "")
	{
		if(isInVector(str,p) == -1)
		{
			p.push_back(node(str,++id));
		}
	}
}
//判断在关键字表中时候出现过 出现过插入到关键字表中，否则插入到标示符表中
void insrtIntoAns(string str)
{
	int id;
	node mynode;
	if(str != "")
	{
		if(  isInVector(str ,arr) != -1)
		{
			insertIntoVector(str,defi,defiid);
			//cout<<"insert into ans标示符"<<endl;
		}
		else
		{
			
			insertIntoVector(str,ans,ansid);
		//cout<<"insert into 关键字表"<<endl;
		}
	}
}
//从文件中读入一个字符复制给c
bool myread(FILE *fp,char &c)
{
	c = fgetc(fp);
	if(c != EOF) return true;
	return false;
}
//提取各个编码
int process()
{
	FILE * fp;
	if((fp = fopen("in.txt","rb"))== NULL)
	{
		return p_error;
	}
	char c ;//= fgetc(fp); //读取一个字符
	string str ="";
	while(myread(fp,c))
	{
		while( (c == '\n' || c == '\r' || c == '\t'|| c == 32) && myread(fp,c)) ;
		//判断是否为变量或者为关键字
		str = "";
		//识别出所有以字母或者下划线组成的变量，在从这些变量中识别出是否为关键字
		if( c!= EOF && ( c == '_' || isalpha(c)))
		{
			str = c;
			while( myread(fp,c) && (isalpha(c) || c == '_')) 
			{
				str += c;
			}
			fseek(fp,(sizeof(char) * -1),SEEK_CUR);
		//	if(str != "")
			//			cout<<str<<endl;
			insrtIntoAns(str);//判断插入哪一个表中标示符表还是关键字表
			str = "";
			continue;
		}

		
		//提取数字,所有的以数字组成的字符串
		if(  c!= EOF && isdigit(c))
		{
			str = c;
			while(c = fgetc(fp),c != EOF && isdigit(c))
			{
				str += c;
			}
			fseek(fp,(sizeof(char) * -1),SEEK_CUR);
				if(str != "")
						cout<<str<<endl;
			insertIntoVector(str,symbol,symid);
			str = "";
			continue;
		}

	    //提取字符串，以“开头的，以”结尾的 如果找不到以“结尾的，便是出错
		if( c!= EOF && (int)c == 34)
		{
			//cout<<(int)c<<endl;
			str += c;
			while(c = fgetc(fp) ,(int)c != 34 )
			{
				if(c == EOF) break;
				//cout<<str<<endl;
				str += c;
			}
			str+="\"";
			if(c == EOF)
			{
				cout<<"字符串错误\n";
				return p_error;
			}
			if(str != "")
						cout<<str<<endl;
			insertIntoVector(str,symbol,symid);
			str = "";
			continue;
		}
	
		//提取字符，两种情况‘a’，'\n'，分类提取出这两种情况
		if( c!= EOF && c == '\'')
		{
			cout<<"hello"<<endl;
			str += c;
			//两种情况‘a’，'\n'
			if( myread(fp,c))
			{
				str += c;
				if( c== '/' && myread(fp,c))
					str+=c;
			}
		
			if(!myread(fp,c) || c !='\'' ) {cout<<"字符读入错误"<<endl;	return p_error;}
			str+= c;
			if(str != "")
						cout<<str<<endl;
			insertIntoVector(str,symbol,symid);
			str = "";
			continue;
		}
		
		//提取界符
		cout<<"界符"<<c<<endl;
		str ="";
		switch(c)
		{
			case '(' :
			case ')' :
			case '{' :
			case '}' :
			case ',' :
			case ';' :
			case '+' : 
			case '-' :
			case '*' :
			case '/' : str = c;insertIntoVector(str,defi,defiid);break;
			case '<' :
			case '=' :
			case '>' :
				str += c;
				if( myread(fp,c ) && c == '=') 
				{ 
					str += c;
					insertIntoVector(str,defi,defiid);break;
				}
				else
				{
					fseek(fp,(sizeof(char) * -1),SEEK_CUR);
					insertIntoVector(str,defi,defiid);break;
				}
				break;
			default:
				cout<<"不能识别的字符"<<(int)c<<endl;

		}
		str = "";
	
	}
	fclose(fp);
	return 1;
}
void output(vector<node> &ans)
{

	//cout<<"---------------------------------------------------------------------------"<<endl;
	vector<node>::iterator it;
	for(it = ans.begin();it != ans.end();it++)
	{
		
		cout<<setw(20)<<setiosflags(ios::left)<<it->str<< it->id<<endl;
	}
}
int main()
{
	freopen("out.txt","w",stdout);
	input();
	process();
	cout<<"---------------------------------变量表----------------------------------------"<<endl;
	output(ans);
	cout<<"---------------------------------关键字表----------------------------------------"<<endl;
	output(defi);
	cout<<"---------------------------------常量表----------------------------------------"<<endl;
	output(symbol);
	fclose(stdout);
	return 0;
}



词法分析器 c 语言
Just do it
11-19 1215
#include /*定义I/O库所用的某些宏和变量*/ #include /*定义字符串库函数*/ #include /*提供有关屏幕窗口操作函数*/ #include /*分类函数*/ #include char prog[80]={'\0'}, tok
C语言词法分析器（简易）
11-23
简易C语言词法分析器：处理m语言源程序，过滤掉无用符号，判断源程序中单词的合法性，分解出正确的单词，输出二元组。
词法分析器的C语言实现详解
最新发布
weixin_36300623的博客
05-19 871
编译原理是研究如何将高级语言翻译成机器语言的一门学科。在编程和软件开发领域，理解编译原理能够帮助我们更好地理解程序的运行机制，优化代码性能，并对编译器的工作过程有更深刻的认识。编译过程一般包括四个主要阶段：词法分析、语法分析、语义分析和代码生成。在深入了解编译过程之前，我们需要认识词法分析器。词法分析器是编译器的第一个组成部分，其任务是读入源程序的字符序列，将它们组织成有意义的词素序列，并转换为标记。标记是编译器理解的基本单位，例如关键字、标识符、常数和运算符等。
词法分析器-C语言
热门推荐
qq_41386300的博客
10-22 1万+
#include&lt;stdio.h&gt; #include&lt;conio.h&gt; #include&lt;math.h&gt; #include&lt;string.h&gt; #include&lt;stdlib.h&gt; int i, row = 0, line = 0; char test[1000]; //test文件中的字符 int number[100]; //常...
c 语言 词法分析器
06-03
c 语言 词法分析器 编译原理 用c语言编写的一个词法分析器 词法分析器是学习编译原理的重要部分
词法分析器C语言编写（附实验报告）
04-17
在C语言中编写词法分析器，我们需要对C语言的语法特性有深入理解，例如知道哪些字符组合可以构成合法的标识符，哪些是关键字，哪些是运算符，以及如何处理数字、字符串等常量。此外，我们还需要了解正则表达式或者...
cifafenxiqi.rar_cifafenxiqi_词法分析器 c语言_词法分析器能识别关键字常量和
09-21
对于给定的"Cifafenxiqi.rar_cifafenxiqi_词法分析器 c语言_词法分析器能识别关键字常量和"这个项目，我们关注的是一个使用C语言实现的简单词法分析器，它能够识别并处理特定类型的关键字、常量和标识符。...
cifafenxiqi.rar_词法分析器 c语言
09-20
在这个“cifafenxiqi.rar_词法分析器 c语言”项目中，开发者用C语言实现了这样一个词法分析器，旨在处理简单的源代码输入。 C语言是一种广泛使用的编程语言，因其高效、简洁而被许多系统级和嵌入式开发所采用。对于...
IORO.rar_编译原理 词法_词法分析器_词法分析器 c语言
09-22
《IORO.rar——深入理解编译原理：词法分析器的C语言实现》 在编程领域，编译器是至关重要的工具，它将人类可读的高级语言转换为机器可执行的指令。编译原理是计算机科学的一个核心分支，它研究如何构建这样的转换...
cifa.rar_yufa.c_词法分析器_词法分析器 c语言
09-21
在C语言环境中，编写词法分析器通常涉及对C源代码字符流的处理，识别关键字、标识符、常量、运算符等元素。 “cifa.rar_yufa.c”这个标题暗示我们有一个名为“yufa.c”的源代码文件，它可能是一个用C语言实现的词法...
词法分析器 c语言
06-18
一个用C语言编写的词法分析器，功能很全，与课本同步
词法分析器 C语言版
12-10
简单的词法分析器 C语言版 对文件中的语句进行词法分析
c语言词法分析器
04-10
C编写的简易词法分析器，主要功能是：当你从文件输入一段c语言代码之后，程序能分析代码结构，解析代码的各种关键字，自定义标识符，数字等。
C语言词法分析器
06-21
C语言词法分析器 编译原理课程设计
基于C语言的词法分析器
不懂编程的菜鸟
04-28 595
设计基于C语言的词法分析器。
词法分析器(C语言版)
For free
03-25 2477
词法分析器： 有限状态机的理论并不难，但是如果把状态机理论转换成代码，这个就需要思考了 数据结构设计： char charList[_CHARLIST_SIZE][15] = {0}; char charList_nu[_CHARLIST_SIZE] = {0}; char charList_index = 0; char numList[_NUMLIST_SIZE][15] =
词法分析器（纯c语言）
qq_35853567的博客
12-27 7279
编译原理 简单词法分析器(纯C语言)
PL0语言词法分析器C语言实现解析
使用C语言编写词法分析器的过程中，可能会用到的数据结构和算法包括有限状态自动机（Finite State Machine，FSM）、符号表（用于记录标识符和关键字）以及字符串处理函数（如比较、查找等）。 总之，PL0语言词法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值