[无内容] lexeme与token的对应关系……

最新推荐文章于 2022-12-05 21:45:00 发布
最新推荐文章于 2022-12-05 21:45:00 发布 · 400 阅读 · 0
文章标签：

#C #C++ #C# #Blog

本文讨论了ANTLR中lexeme与token的关系，并提出了如何让一个符号（如等号）能够映射到多个不同token（例如“EQ”和“AssignementOperator”）的问题。通过对比其他工具的做法，如lcc lexer中的实现方式，展示了复杂符号映射的可能性。
在ANTLR里一个lexeme真的只能对应一种token？我是没把说明看仔细还是怎样，但是这等号字符（“=”）该如何对应到多个token上呢？我只是想让它既对应“EQ”又对应“AssignementOperator”而已……yacc里可以的嘛

[url=http://www.cs.princeton.edu/software/lcc]lcc[/url]的lexer里，lexer.c的那个static unsigned char map[256]的定义有点意思。看到像是第77行的：
/* 101 A   */    LETTER|HEX,

我便湿了啊……

顺带，lexer.c的开头还有这个定义：
enum { BLANK=01,  NEWLINE=02, LETTER=04,
       DIGIT=010, HEX=020,    OTHER=040 };
词法分析初探(编译原理1-0)
哈喽易
08-17 2650
我们讨论的词法分析（lexical analysis）是针对形式语言的，因为现在的程序设计语言都是形式语言。 进行词法分析的程序被称为词法分析器 / 扫描器（lexer / scaner） 一：词法分析器的作用     1.必要概念--词法单元（token），模式（pattern），词素（lexeme）           词法单元是由词法单元名和一个可选的属性值组
token是什么意思_为什么编译原理被称为龙书？
weixin_39612057的博客
11-23 2846
(给程序员的那些事加星标)作者：Java建设者/cxuan (本文来自作者投稿)碎碎念为什么这本书叫做龙书(Dragon book)？这本书很有意思，它的书名是《Compilers: Principles, Techniques, and Tools》，也就是编译器的原则、技术和工具。但它却画出了一个恐龙和骑士，恐龙身上写的是Complexity of Compiler Desi...
编译原理中的token简介
cnds123的专栏
12-05 5360
编译原理中的token简介
编译原理（一）——词法分析
lengjiayi的博客
03-12 3258
词法分析 1、基本概念 词法单元(Token)：由词法单元名和属性值（可选）组成。其中属性值用于区分同一符号表中重复的同种词法单元。 模式(Pattern)：描述一类词法单元可能具有的形势。 词素(Lexeme)：源程序中的一个字符序列，可以和某个词法单元的模式匹配，并被词法分析器识别为该词法单元的一个实例。 可以看出，词法单元、模式和词素是"一对一对多"的关系，下图给出了c语言词法一个示例：...
C 语言词法分析器的 C++ 实现
imjusstnobody的博客
10-10 4510
开篇 编译，简单地理解，就是把源程序转化为另一种形式的程序,而其中关键的部分就是理解源程序所要表达的意思，才能转化为另一种源程序。 编译器的输入就是这样的一个语言源文件。 词法分析器的作用，就是拿到输入的文件，分离出这个输入文件的每个元素（关键字、变量、符号等），然后根据该种语言的文法，分析这些元素的组合是否合法，以及这些组合所表达的意思。 简而言之，词法分析器对源码字符串做预处理，以减少语法分析器的复杂程度。 词法分析器以源码字符串为输入，它的输出是标记流（token stream），即一连串的标记，每个
银联无跳转支付-Token银联侧
csdnwxhll的博客
06-30 5335
银联无跳转支付-Token银联侧前言三种支付方式银联侧Token版 前言 本人所在公司使用场景：用户在APP中开通免密支付以后消费都可以免密支付。使用银联无跳转支付需要先和银联签署协议申请商户，免密支付需要和银联申请，银联地址：https://open.unionpay.com/tjweb/acproduct/list?apiservId=449 此文中的代码是最初版的代码，仅供参考，需要根据自己...
中国银联-无跳转支付token（银联侧开通）
热门推荐
Bloodyer的博客
03-29 1万+
银联支付一直在围绕支付安全性为主导进行相关支付业务的开展，接下来介绍下银联的无跳转支付token（银联侧绑定），这种的支付模式可能会受商户的喜爱，因为支付流程中的界面可以自定义；做无跳转支付时，银联首先会下发trId参数，以便用作支付的发起；以下为具体的流程：1、先进行支付参数的开通，以便获取支付卡号对应的tokenID；前台开通数据请求后，会调至该页面进行绑定；2、如果未收到开通的异步通知，可调...
#include <stdio.h> #include <ctype.h> #include <string.h> #include <stdlib.h> // Token类型定义 typedef enum { TOKEN_ID, // 标识符 TOKEN_NUMBER, // 数字 TOKEN_KEYWORD, // 关键字 TOKEN_OPERATOR, // 运算符 TOKEN_DELIMITER, // 分隔符 TOKEN_EOF, // 结束符 TOKEN_ERROR // 错误 } TokenType; // 关键字列表 const char *keywords[] = { "if", "else", "while", "return", "int", "float", "char" }; // Token结构体 typedef struct { TokenType type; char lexeme[32]; int line; } Token; // 全局状态 char *source; // 源代码缓冲区 int position = 0; // 当前位置 int line = 1; // 当前行号 // 获取下一个字符 char next_char() { return source[position++]; } // 回退一个字符 void backtrack() { position--; } // 判断是否为关键字 int is_keyword(const char *str) { int num_keywords = sizeof(keywords) / sizeof(keywords[0]); for (int i = 0; i < num_keywords; i++) { if (strcmp(str, keywords[i]) == 0) { return 1; } } return 0; } // 获取下一个token Token get_next_token() { Token token; token.line = line; char current = next_char(); // 跳过空白字符 while (isspace(current)) { if (current == '\n') line++; current = next_char(); } // 标识符或关键字 if (isalpha(current) || current == '_') { int idx = 0; token.lexeme[idx++] = current; while (isalnum(current = next_char()) || current == '_') { token.lexeme[idx++] = current; } backtrack(); token.lexeme[idx] = '\0'; token.type = is_keyword(token.lexeme) ? TOKEN_KEYWORD : TOKEN_ID; return token; } // 数字常量 if (isdigit(current)) { int idx = 0; token.lexeme[idx++] = current; while (isdigit(current = next_char())) { token.lexeme[idx++] = current; } backtrack(); token.lexeme[idx] = '\0'; token.type = TOKEN_NUMBER; return token; } // 运算符和分隔符 token.lexeme[0] = current; token.lexeme[1] = '\0'; switch (current) { case '+': case '-': case '*': case '/': case '=': case '<': case '>': case '!': token.type = TOKEN_OPERATOR; break; case ';': case ',': case '(': case ')': case '{': case '}': case '[': case ']': token.type = TOKEN_DELIMITER; break; case EOF: case '\0': token.type = TOKEN_EOF; strcpy(token.lexeme, "EOF"); break; default: token.type = TOKEN_ERROR; } return token; } int main() { // 示例源代码 (可替换为文件读取) char code[] = "int main() {\n int x = 42;\n if (x > 0) {\n return x;\n }\n}"; source = code; // 分词过程 Token token; do { token = get_next_token(); printf("Line %d: [%s] - Type: %d\n", token.line, token.lexeme, token.type); } while (token.type != TOKEN_EOF); return 0; } 分析一下
最新发布
10-08
以下是修改后的`get_next_token()`中对应的部分： ```c // ... 前面的代码不变 // 运算符和分隔符 token.lexeme[0] = current; token.lexeme[1] = '\0'; // 先设置单字符，后面可能覆盖 // 检查双字符运算符...
编译原理词法分析源码实现与token序列解析
每个token通常包含两个部分：类型（token type）和值（lexeme）。例如，对于代码片段 `int a = 10;`，词法分析器会生成如下token序列：(KEYWORD, "int")、(IDENTIFIER, "a")、(OPERATOR, "=")、(INTEGER_LITERAL, ...
#include <stdio.h> #include <stdlib.h> #include <ctype.h> #include <string.h> #include <locale.h> // 添加locale头文件支持中文 typedef enum { TOKEN_EOF, TOKEN_ID, TOKEN_INT, TOKEN_ASSIGN, TOKEN_IF, TOKEN_THEN, TOKEN_ELSE, TOKEN_WHILE, TOKEN_DO, TOKEN_BEGIN, TOKEN_END, TOKEN_PROGRAM, TOKEN_PERIOD, TOKEN_EQ, TOKEN_NE, TOKEN_LT, TOKEN_GT, TOKEN_LE, TOKEN_GE, TOKEN_PLUS, TOKEN_MINUS, TOKEN_MUL, TOKEN_DIV, TOKEN_LPAREN, TOKEN_RPAREN, TOKEN_SEMICOLON } TokenType; typedef struct { TokenType type; char lexeme[32]; int line; int column; } Token; char *keywords[] = {"program", "begin", "end", "if", "then", "else", "while", "do"}; TokenType keyword_types[] = {TOKEN_PROGRAM, TOKEN_BEGIN, TOKEN_END, TOKEN_IF, TOKEN_THEN, TOKEN_ELSE, TOKEN_WHILE, TOKEN_DO}; Token current_token; FILE *input; int ch; int current_line = 1; int current_column = 0; void next_char() { ch = fgetc(input); current_column++; if (ch == '\n') { current_line++; current_column = 0; } } void skip_whitespace() { while (isspace(ch)) next_char(); } void read_identifier_or_keyword(Token *token) { int i = 0; token->line = current_line; token->column = current_column; while (isalnum(ch) || ch == '_') { token->lexeme[i++] = ch; next_char(); } token->lexeme[i] = '\0'; for (int j = 0; j < sizeof(keywords)/sizeof(keywords[0]); j++) { if (strcmp(token->lexeme, keywords[j]) == 0) { token->type = keyword_types[j]; return; } } token->type = TOKEN_ID; } void read_number(Token *token) { int i = 0; token->line = current_line; token->column = current_column; while (isdigit(ch)) { token->lexeme[i++] = ch; next_char(); } token->lexeme[i] = '\0'; token->type = TOKEN_INT; } void get_next_token(Token *token) { skip_whitespace(); token->line = current_line; token->column = current_column; switch (ch) { case EOF: token->type = TOKEN_EOF; strcpy(token->lexeme, "EOF"); break; case ':': next_char(); if (ch == '=') { token->type = TOKEN_ASSIGN; strcpy(token->lexeme, ":="); next_char(); } else { token->type = TOKEN_ASSIGN; strcpy(token->lexeme, ":"); } break; case '=': next_char(); if (ch == '=') { token->type = TOKEN_EQ; strcpy(token->lexeme, "=="); next_char(); } else { token->type = TOKEN_ASSIGN; strcpy(token->lexeme, "="); } break; case '!': next_char(); if (ch == '=') { token->type = TOKEN_NE; strcpy(token->lexeme, "!="); next_char(); } else { token->type = TOKEN_NE; strcpy(token->lexeme, "!"); } break; case '<': next_char(); if (ch == '=') { token->type = TOKEN_LE; strcpy(token->lexeme, "<="); next_char(); } else { token->type = TOKEN_LT; strcpy(token->lexeme, "<"); } break; case '>': next_char(); if (ch == '=') { token->type = TOKEN_GE; strcpy(token->lexeme, ">="); next_char(); } else { token->type = TOKEN_GT; strcpy(token->lexeme, ">"); } break; case '+': token->type = TOKEN_PLUS; strcpy(token->lexeme, "+"); next_char(); break; case '-': token->type = TOKEN_MINUS; strcpy(token->lexeme, "-"); next_char(); break; case '*': token->type = TOKEN_MUL; strcpy(token->lexeme, "*"); next_char(); break; case '/': token->type = TOKEN_DIV; strcpy(token->lexeme, "/"); next_char(); break; case '(': token->type = TOKEN_LPAREN; strcpy(token->lexeme, "("); next_char(); break; case ')': token->type = TOKEN_RPAREN; strcpy(token->lexeme, ")"); next_char(); break; case ';': token->type = TOKEN_SEMICOLON; strcpy(token->lexeme, ";"); next_char(); break; case '.': token->type = TOKEN_PERIOD; strcpy(token->lexeme, "."); next_char(); break; default: if (isalpha(ch) || ch == '_') { read_identifier_or_keyword(token); } else if (isdigit(ch)) { read_number(token); } else { token->line = current_line; token->column = current_column; sprintf(token->lexeme, "非法字符 '%c'", ch); token->type = TOKEN_EOF; next_char(); } } } void parse_program(); void parse_statement(); void parse_assignment(); void parse_if_stmt(); void parse_while_stmt(); void parse_compound_stmt(); void parse_expression(); void parse_logical_expr(); void parse_term(); void parse_factor(); void match(TokenType expected_type) { if (current_token.type == expected_type) { get_next_token(&current_token); } else { // 中文错误信息 printf("语法错误 [%d:%d] 预期: ", current_token.line, current_token.column); switch(expected_type) { case TOKEN_PROGRAM: printf("'program'"); break; case TOKEN_BEGIN: printf("'begin'"); break; case TOKEN_END: printf("'end'"); break; case TOKEN_IF: printf("'if'"); break; case TOKEN_THEN: printf("'then'"); break; case TOKEN_ELSE: printf("'else'"); break; case TOKEN_WHILE: printf("'while'"); break; case TOKEN_DO: printf("'do'"); break; case TOKEN_ID: printf("标识符"); break; case TOKEN_INT: printf("整数"); break; case TOKEN_ASSIGN: printf("':='"); break; case TOKEN_EQ: printf("'=='"); break; case TOKEN_NE: printf("'!='"); break; case TOKEN_LT: printf("'<'"); break; case TOKEN_GT: printf("'>'"); break; case TOKEN_LE: printf("'<='"); break; case TOKEN_GE: printf("'>='"); break; case TOKEN_PLUS: printf("'+'"); break; case TOKEN_MINUS: printf("'-'"); break; case TOKEN_MUL: printf("'*'"); break; case TOKEN_DIV: printf("'/'"); break; case TOKEN_LPAREN: printf("'('"); break; case TOKEN_RPAREN: printf("')'"); break; case TOKEN_SEMICOLON: printf("';'"); break; case TOKEN_PERIOD: printf("'.'"); break; default: printf("token %d", expected_type); } printf(", 实际: '%s'\n", current_token.lexeme); exit(1); } } void parse_program() { match(TOKEN_PROGRAM); match(TOKEN_ID); match(TOKEN_SEMICOLON); parse_compound_stmt(); match(TOKEN_PERIOD); if (current_token.type != TOKEN_EOF) { printf("语法错误 [%d:%d] 预期结束符, 实际: '%s'\n", current_token.line, current_token.column, current_token.lexeme); exit(1); } printf("该程序是正确的。\n"); } void parse_compound_stmt() { match(TOKEN_BEGIN); parse_statement(); while (current_token.type == TOKEN_SEMICOLON) { match(TOKEN_SEMICOLON); parse_statement(); } match(TOKEN_END); } void parse_statement() { switch (current_token.type) { case TOKEN_ID: parse_assignment(); break; case TOKEN_IF: parse_if_stmt(); break; case TOKEN_WHILE: parse_while_stmt(); break; case TOKEN_BEGIN: parse_compound_stmt(); break; default: printf("语法错误 [%d:%d] 非法的语句开始: '%s'\n", current_token.line, current_token.column, current_token.lexeme); exit(1); } } void parse_assignment() { match(TOKEN_ID); match(TOKEN_ASSIGN); parse_expression(); } void parse_if_stmt() { match(TOKEN_IF); parse_logical_expr(); match(TOKEN_THEN); parse_statement(); if (current_token.type == TOKEN_ELSE) { match(TOKEN_ELSE); parse_statement(); } } void parse_while_stmt() { match(TOKEN_WHILE); parse_logical_expr(); match(TOKEN_DO); parse_statement(); } void parse_logical_expr() { parse_expression(); switch (current_token.type) { case TOKEN_EQ: case TOKEN_NE: case TOKEN_LT: case TOKEN_GT: case TOKEN_LE: case TOKEN_GE: match(current_token.type); parse_expression(); break; default: printf("语法错误 [%d:%d] 预期关系运算符, 实际: '%s'\n", current_token.line, current_token.column, current_token.lexeme); exit(1); } } void parse_expression() { parse_term(); while (current_token.type == TOKEN_PLUS || current_token.type == TOKEN_MINUS) { match(current_token.type); parse_term(); } } void parse_term() { parse_factor(); while (current_token.type == TOKEN_MUL || current_token.type == TOKEN_DIV) { match(current_token.type); parse_factor(); } } void parse_factor() { switch (current_token.type) { case TOKEN_INT: match(TOKEN_INT); break; case TOKEN_ID: match(TOKEN_ID); break; case TOKEN_LPAREN: match(TOKEN_LPAREN); parse_expression(); match(TOKEN_RPAREN); break; default: printf("语法错误 [%d:%d] 非法的表达式因子: '%s'\n", current_token.line, current_token.column, current_token.lexeme); exit(1); } } int main(int argc, char *argv[]) { // 设置本地化环境支持中文 setlocale(LC_ALL, "zh_CN.UTF-8"); if (argc < 2) { printf("用法: %s <文件名>\n", argv[0]); return 1; } input = fopen(argv[1], "r"); if (!input) { perror("打开文件失败"); return 1; } // 初始化词法分析器 next_char(); get_next_token(&current_token); // 开始语法分析 parse_program(); fclose(input); return 0; }
06-27
- 运算符：TOKEN_ASSIGN(赋值), TOKEN_EQ(等于), TOKEN_NE(不等于), TOKEN_LT(小于), TOKEN_GT(大于), TOKEN_LE(小于等于), TOKEN_GE(大于等于), TOKEN_PLUS(加), TOKEN_MINUS(减), TOKEN_MUL(乘), TOKEN_DIV(除) ...
token <lexeme> ADD SUB NOT这段代码是什么意思
06-14
其中，`ADD`、`SUB` 和 `NOT` 是定义的终结符号，`<lexeme>` 则是用来指定该终结符号的属性为词素，即词法分析器分析出的单词的字符串表示。 在 Bison 的语法规则中，可以使用终结符号和非终结符号来描述源代码中的...
%token <lexeme> LPAREN RPAREN LBRACE RBRACE LSQUARE RSQUARE
06-14
这里的LPAREN、RPAREN、LBRACE、RBRACE、LSQUARE、RSQUARE是一些常见的标点符号，在编程语言中也有着重要的作用。它们分别代表着左圆括号、右圆括号、左花括号、右花括号、左方括号和右方括号。...
编译原理 词法分析：介绍，KMP 匹配算法
小键233
03-26 1215
词法分析，Lexcical analysis， 是将编程语言从字符转变成一个个token的分析器。 这也通常是一个编译器的开始阶段。 token 也称之为词素。 举个例子， 下面这段程序转变成token的输出如下： printf("Total is %d\n,", score); token 的输出和匹配上的内容顺序： printf 函数名字 ( 符号 "Total is %d\n" 字符常量 , 符号 score id，指向符号表来查询实际的内容 ) 符号 ; 符号 Token, Pattern
Spring学习笔记之Spring JDBCTemplate
a1151723225的博客
04-11 238
一、开发JDBCTemplate入门Maven项目中pom文件配置：&lt;properties&gt; &lt;spring-version&gt;4.3.13.RELEASE&lt;/spring-version&gt; &lt;/properties&gt; &lt;dependencies&gt; &lt;!--normal need start--&gt; ...
编译原理——CMM词法分析器
hello_program_world的博客
06-10 1223
整体思路：  为了将文件读取和内容处理分开，将整个文件读取为字符串，然后对该字符串进行解析，各种保留字和符号单独为一个类别，其值为本身，标识符、整型数字，浮点型数字为个为一个类，其值为具体值。先创建TOK类 ，设置词的类别，共32个类别。package CMMLex; /** * Created by think on 2017/10/11. */ public class TOK { ...
微服务实战（十七）微服务Token的实现： MD5简易Token、Jwt、Jwt结合AES加密
看山不是山
03-13 7768
关于Token (令牌) 说起令牌，仿佛回到了封建时代，一掏出令牌，其他人都知道你是什么身份了。 而在web系统中，前后端的业务交互也往往需要附带身份数据，先姑且把这个数据统称为Token （令牌） 。 面向有状态HTTP请求：在前后端不分离的模式下，这个Token实际上是 jsessionId，存储在前端的cookies中，后端根据请求者cookies里的jsesssionId获取到服务...
编辑原理系列学习：编译器简介及Lexical analyzer
wangjron的博客
09-29 5040
编译器简介与lexical analyzer
【NLP】spaCy笔记
越努力，越幸运
11-05 3004
参考 快速掌握spacy在python中进行自然语言处理（附代码&链接） spaCy 第一篇：核心类型 spaCy 第二篇：语言模型 spaCy 第三篇：依存分析 spaCy官方文档 简介 基本介绍 spaCy的架构 spaCy 是一个号称工业级的自然语言处理工具包，最核心的数据结构是Doc和Vocab。Doc对象包含Token的...
Difference between stem and lemma
weixin_34209851的博客
11-29 289
lemma与stem的区别 Difference between stem and lemma 先从wikipedia上看看什么是stem，什么是lemma？ Lemma(morphology)：Inmorphologyandlexicography, alemma(plurallemmasorlemmata) is thecanonical form,dictionar...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值