《软件技术基础》之《词法分析》

CVTE嵌入式开发与软件技术支持双岗面经全解析:从技术考核到HR问答 本文全面解析了CVTE嵌入式开发与软件技术支持双岗位的面试流程与技术要点,包括实时手写代码、项目深挖、硬件协议与底层开发等核心考核内容。特别强调了技术沟通与客户思维的考察维度,并提供了HR面试的隐藏考点与offer谈判技巧,帮助求职者高效准备并成功获取offer。 阅读详情

词法分析的功能

功能

  • 扫描源程序的字符串;
  • 按照词法规则识别出单词符号作为输出;
  • 对识别过程中发现的词法错误,则输出有关的错误信息。

词法分析器在编译器负责:

  • 读取源程序;
  • 识别单词;
  • 过滤掉源程序的注释和空白;
  • 将编译器生成的错误信息与源程序的位置关联(记录遇到的换行符的个数、给出错信息赋予一个行号)。

词法分析器和语法分析器的关系

词法分析器作为单独的一遍

词法分析器不断地读取输入串(源文件),直到识别出下一个符合单词模式的字符串(词素),词法分析器根据此“符合单词模式的字符串”生成下一个单词,将单词流的输出形成一个输出文件,作为语法分析器的输入。
在这里插入图片描述

词法分析器作为子程序

语法分析器调用词法分析器,指示词法分析器从它的输入不断读取字符,直到识别出下一个“符合单词模式的字符串”为止,词法分析器根据其生成下一个单词(token),返回给语法分析器。
在这里插入图片描述
示例:
在这里插入图片描述
上面的语句可以分成:
在这里插入图片描述

词法分析器的输出形式

单词的种类

  • 标识符:用来命名程序中出现的变量、数组、函数、过程、标号等
  • 基本字:也可称关键字或保留字,如if、while、for、do、goto等
  • 常数:各种类型的常数,如233、3.1415、true等
  • 运算符:如+、-、*、/等
  • 界符:如;、:、(、)等

单词的输出形式:二元式

在这里插入图片描述

单词类型的划分

  • 基本字、运算符、界符:一字一码;
  • 标识符:单列一种;
    标识符是以字母开头的的“字母/数字”串。用来表示各种名字,如变量名、函数名等。
  • 常数:按类型分类,如整型、布尔型、字符型等。

词法分析器的结构

在这里插入图片描述

扫描缓冲区

  1. 输入缓冲区:源程序进入输入缓冲区;
  2. 预处理程序:取消注释、剔除无用的空白、回车、换行等;
  3. 扫描缓冲区:从输入缓冲区输入固定长度的字符串到另一个缓冲区(扫描缓冲区),词法分析可以直接在此缓冲区中进行符号识别

扫描缓冲区的结构:双缓冲区

设置左右两个缓冲区,当左缓冲区读完后,新读入的字符存入右缓冲区;反之,存放在左缓冲区;

  • 起点指针 (lexeme Begin) :用来指示正在扫描的单词的起点;
  • 搜索指针 (forward) :用于向前搜索,寻找单词的结束;

在这里插入图片描述

符号的识别

根据语言规定的词法规则,进行识别。

对不同类型的单词符号,有不同的识别要求

  • 基本字:语言的固定格式
  • 标识符:读到非字母数字
  • 常数:根据常数的格式、大多数常数后都有运算符或界符
  • 界符、运算符:需要超前搜索

词法分析技术——超前搜索

为了判定一个单词符号的识别,必须扫描到某一地方,而该单词符号并没有这么长,这种扫描方式叫做超前搜索。

起点指针指向当前单词的开始处。
搜索指针用于向前搜索,寻找单词的结束,搜索指针前移前需要确定是否达到末尾。
如果是,读取N个新字符到另一缓冲区,如果剩余字符不足N个,添加 eof 字符(或其他不会在源程序中的字符)。
单词确定后,搜索指针指向该词素结尾字符。
生成单词并记录或返回给语法分析器后, 生成单词并记录或返回给语法分析器后, 生成单词并记录或返回给语法分析器后起点指针指向下一个字符。
在这里插入图片描述

词法分析器的实现

状态转换图

简称转换图(transition diagram),是一张有限方向图,是设计词法分析器的有效工具。
它由如下成分构成:

  • 结点(mode):圆圈表示结点,代表状态(state)
  • 有向边(弧):连接结点,连接结点,边上的标记字符表示该状态下可能接收或识别的字符
    在这里插入图片描述

特点:

  • 有限的有向图;
  • 有向边上标记字符;
  • 唯一初态,若干终态(至少一个)。

状态转换图识别的串

从初态出发到某一终态路径上字符的连接。

识别标识符的状态转换图:
在这里插入图片描述

利用状态转换图识别单词符号的过程

  1. 从初态开始
  2. 从输入串中读一个字符
  3. 判明读入字符与从当前状态出发的哪条弧上的标记相匹配,便转到相应匹配的那条弧所指向的状态;
  4. 重复3,均不匹配时便告失败;到达终态时便识别出一个单词符号。

在很多程序设计语言中,基本字也符合标识符的模式,如何区分?
解决方法:

  • 在符号表中预先填写保留字,并指明它们不是普通标识符;
    在这里插入图片描述

  • 为关键字或保留字建立单独的状态转换图。
    在这里插入图片描述

其他状态转换图的例子

在这里插入图片描述

符号表

在程序中 ,用户用标识符定义了不少名字来代表不同的数据对象,编译程序将这些名字保存在符号表中。

符号表除了记录名字本身而外,还记录了与名字关联的各种属性信息。

符号表在词法分析阶段的角色

  • 建立符号表,查填符号表;
  • 将不重复的标识符、数字常数和字符常数的性质填入符号表中,如:名字、类型、数值等;
  • 并且将变量(或常数)在符号表中的入口地址写到其自身的单词(TOKEN)中。

符号表的一般形式

每个名字对应一个表项,一个表项包括名字域和信息域。
在这里插入图片描述

信息域通常设置若干个子域和标志位,其内容可以是与名字有关的任何信息,如类型、种属、长度、相对地址、数组的内情向量、记录与分量的联系、形参标志、说明标志、赋值标志等。

因名字的长度、信息域的组成和长度可能是各不相同的,一般采用间接表技术。
间接符号表的数据结构:
在这里插入图片描述

词法分析器与语法分析器 JAVA 实现的词法分析器与语法分析器。 输出有词法二元表 立即下载

相关推荐

PCI Express 权威指南:从协议原理到芯片实现

目录 全文总览第一部分:PCIe体系结构概览第1章 互连技术的演进与PCIe的诞生1.1 从ISA到PCI:并行总线的辉煌与瓶颈1.2 PCI-X的尝试与局限1.3 串行革命:从AGP、PCI到PCIe的范式转移1.4 PCIe的核心优势第2章 PCIe系统全局视角2.1 系统拓扑:Root Complex, Switch, Endpoint的职能与关系2.2 拓扑结构实例:服务器、工作站、嵌入式系统2.3 枚举与配置:系统如何发现和组织PCIe设备2.4 地址空间第3章 PCIe协议分层架构3.1 分层模

qq_42882296的博客 2898

使用C++对TINY+语言进行词法分析、语法分析、语义分析和中间代码生成

实验报告 实验环境 操作系统:Win 10 编译器:g++ 项目地址 项目地址 实验目的 构造TINY+的语义分析程序并生成中间代码 实验内容 构造符号表,构造TINY+的语义分析器,构造TINY+的中间代码生成器 实验要求 能检查一定的语义错误,将TINY+程序转换成三地址中间代码。提交词法分析、语法分析和语义分析程序及中间代码生成的实验报告。 项目介绍 文件夹结构 tiny+ |-- errors.h |-- generation.cpp |-- generation.h |-- lexical.c

StuGeek的博客 6184

ADS(Arm Developer Suite)安装的坑!

实验课老师让我们区安装ADS,作为嵌入式开发的工具,原本以为这只是一个简单的软件,但是当我安装的时候,我才发现这软件太难了!安装了我大半天,看了其他的博客之后,最终才安装成功???????? 安装过程的一个巨坑就是:安装路径!以及安装许可注册文件 如果没有注意路径,最后安装成功以后打开软件就是蜜汁报错???? 报错了怎么办?删掉已安装的东西,重新安装吧,而且要删干净 再次安装的时候,打开安装包是这个提示...

weixin_42795819的博客 8221

编译原理第3章 词法分析

编译原理 词法分析过程

weixin_47524903的博客 856

告别‘耀斑’降落:手把手教你用PX4+激光测距仪实现固定翼精准自动着陆

本文详细介绍了如何利用PX4飞控与激光测距仪实现固定翼无人机的精准自动着陆,解决传统气压计在低空环境下的测量误差问题。通过硬件选型、安装要点、PX4参数配置及实战调校,帮助开发者实现厘米级高度感知,优化降落曲线,提升着陆稳定性与安全性。

weixin_30336061的博客 521

Agent驱动电商运营:从选品到售后的全链路革新

在当今竞争激烈的电商市场中,传统的电商运营模式面临着诸多挑战。从选品到售后,每个环节都需要大量的人力投入和专业知识。选品需要深入了解市场趋势和消费者需求,营销需要精准定位目标用户,客服需要24小时响应用户咨询。这些工作不仅耗时耗力,而且容易受到人为因素的影响,导致效率低下和成本高企。AI Agent是一种能够感知环境、做出决策并采取行动的智能系统。感知能力:能够获取和处理环境信息。决策能力:能够根据感知到的信息做出决策。行动能力:能够执行决策,对环境产生影响。学习能力。

AI 领航者的博客 356

【编译原理】【C语言】实验一:手动构造词法分析器

词法分析器 1、实验内容 2、前期准备 2.1 待分析的C语言子集的词法 2.2 C语言子集的单词符号表示表 2.3 C语言子集对应的状态转换图 3、分析过程 3.1 词法分析子程序 3.2 主程序 3.3 源代码 4、测试 5、遇到的问题

zoxiii的博客 1万+

读懂ARM汇编程序,你只差这篇!保姆级教程(附完整示例剖析)!

ARM汇编中的符号、标号、伪操作有哪些?C语言和汇编语言如何混合编程?GNU ARM汇编和ARM汇编的区别有哪些?

车载系统攻城狮 1万+

【编译原理】词法分析和语法分析两万字全总结(这知识它不进脑子啊~!)

文章目录1 引论-一些名词解释1.1 解释器1.2 翻译器和编译器1.3 编译型的程序设计语言和解释型的程序设计语言各有哪些优缺点?1.4 编译过程六个阶段的任务1.5 遍的概念2 词法分析2.1 词法分析器2.2 词法记号与属性2.3 串和语言以及串的运算2.4 正规式、正规定义2.5 小结2.6 有限自动机2.7 不确定的有限自动机2.8 确定的有限自动机2.9 正规式转NFA2.10 NFA...

NJU phd 在读。 7212

[Dify 案例实战] 构建一个基于 Dify 的个人写作助理工具-带绑定资源

想要一个懂你风格、能帮你写文章、润色文字、生成大纲的 AI 写作助手? 本文将带你从 0 到 1,完整实现一个 基于 Dify 工作流的个人写作助理工具。 我们会利用 Dify 的 LLM 节点、变量传递、文本处理、知识库与多轮对话能力.

技术小甜甜:传播可落地技术,帮助个人和企业降低解决真实场景问题的成本 279

PreScan快速入门到精通第三十九讲基于车道线识别传感器的车道保持辅助算法Demo讲解

车道保持辅助系统使用一个前置的摄像头,一般安装在车内后视镜附近,用来检测车辆前方的车道线,并监测车辆在其车道上的位置。在有电动助力转向EPS的车辆中,它轻轻地,但明显地反转向,以保持车辆在车道上。在简单车辆动力学的Simulink模型中,一个25%的油门开度常数被设定为输入,作为车辆行驶的纵向动力。首先是近似的角度α,它是传感器航向(=车辆航向)与右侧车道车道线的切线的近似角。一个配备了车道线传感器和简单动力学模型的车辆(MAZDA),将在没有任何规定轨迹的情况下跟随道路车道线行驶。3D浏览器中的多视图。

小明师兄的博客 1843

词法语法分析

词法分析和语法分析是由Lex和Yacc配合完成,在postgres源代码中为scan.l文件和gram.y文件。这两个文件分别预生成scan.c和gram.c文件,他们俩再配合上词法语法分析模块所需要的C文件就构成了词法分析和语法分析的整个模块。其中词法分析语法分析需要的文件生成调用关系如下图。词法分析器 scan.l 负责识别标识符,SQL 关键字等,对于发现的每个关键字或者标识符都会生成一个记号并且传递给分析器;语法分析器 gram.y 包含一套语法规则和触发规则时执行的动作;

weixin_47895938的博客 471

基于STM32F4XX 、HAL库的GXHT30C温湿度传感器驱动应用C语言程序设计

define GXHT30C_STATUS_WRITE_CHK (1 << 0) // 写数据校验状态。#define GXHT30C_STATUS_HUMI_TRACK (1 << 11) // 湿度跟踪报警。#define GXHT30C_STATUS_TEMP_TRACK (1 << 10) // 温度跟踪报警。#define GXHT30C_STATUS_CMD_STATUS (1 << 1) // 命令执行状态。

PP_Cottage的博客 230

软件技术基础

软件技术基础总集篇第一章:绪论第二章:数据结构第三章:操作系统第四章:编译原理第五章:数据库习题与项目解析 第一章:绪论 绪论 第二章:数据结构 线性表 分治与递归 算法复杂度分析 树与二叉树 图 贪心算法 第三章:操作系统 进程 同步 程序的链接和装入 第四章:编译原理 编译原理概述 程序语言的设计 词法分析 语法分析 语义分析 第五章:数据库 数据库基础 关系 SQL 数据库设计 习题与项目解析 数据结构习题解析 操作系统习题解析 编译原理的习题在MOOC上,答案截图在实验报告里。 数据库习题解析 实

ProgramNovice的博客 1288

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

《软件技术基础》之《编译原理概述》

《软件技术基础》之《编译原理概述》绪论程序设计语言汇编程序编译程序高级语言的特点与编译有关的三种语言、三种程序强制性语言冯·诺依曼体系命令式语言相关概念变量程序单元编译模型基本概念运行方式编译步骤编译前端与后端数据类型概念作用分类内部类型与用户定义类型的异同 绪论 程序设计语言 程序设计语言是为了满足人机通信、人机交流而产生的。 程序设计语言的发展有3个阶段:机器语言、汇编语言、高级语言。 汇编程序 汇编程序是翻译汇编语言的程序,输入的是用汇编语言书写的源程序,输出的是用机器语言表示的目标程序。 编译程

ProgramNovice的博客 1144

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

《软件技术基础》之《语法分析》

《软件技术基础》之《语法分析》引言语法分析的功能语法分析方法的分类回溯分析法公共左因子左递归ε产生式回溯分析法的特点回溯分析法的缺陷及解决办法提取公共左因子左递归消除预测分析法 编译理论中,语法分析是对高级语言的语法单位的结构进行分析。 语法单位结构可以用上下文无关文法来描述,而下推自动机可用于识别上下文无关文法所描述 的语言。 上下文无关文法及下推自动机是语法分析的理论基础 。 引言 对无关文法G=(VT ,VN ,S,P)及符号串w,判断w是否是G的一个合法句子,即:S =>* w。 语法分析的功

ProgramNovice的博客 1152

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

UESTC 软件技术基础 期末复习

目录 Chapter1 绪论 1.1 软件开发六步骤(了解) 1.2 操作系统主要功能(了解) ​ Chapter2 数据结构与算法 2.1 线性表的逻辑存储结构 2.2 线性表的顺序存储结构 2.3 线性表的链式存储 2.4 两种储存方式的优缺点 2.5 时间复杂度渐近分析(大题) 2.6 分治算法求解排序问题 2.7 树 2.8 二叉树的概念 2.9 二叉树的存储 2.10 二叉树的遍历 2.11 树和二叉树的互换: 2.12 先序和中序遍历恢复二叉树 2.13 图.

我不想写BUG的博客 3156

编译原理(一)编译程序、解释程序、程序设计语言范型

编译原理的地位 是软件技术的基础 是计算机专业的基础课程,是专业必修课 编译原理的作用 编译原理是介绍如何将高级语言程序变换成低级语言程序的方法。 其理论基础坚实,其形式化系统不仅用于编译程序,还大量用于人工智能、多媒体技术、数据库等领域。 程序设计语言 低级程序语言 特定的计算机系统所固有的语言 即:机器语言、汇编语言 特点:执行效率高、编制效率低 高级程序语言 与自然语言比较接近的语言 过程式语言:C, Pascal, Fortran, ADA 对象式语言:Java, C++ 等 函数式语

star_of_science的博客 8088

未来-中国要不要有自己的编程语言

这样的编程语言缺乏用户基础,无法得到用户的认可,没有使用者,这样的编程语言发明的再多也没有用。我们可以看到,绝大多数新流行的编程语言一定是对之前的编程语言有了很深刻理解,为其设置了很多程序员喜欢的、区别于其它开发语言的语法糖。除去竞争方面的考虑外,其实更大的原因是中国软件产业发展了几十年了,也应该有一款相对通用的开发语言了,这更多是一种国家软件技术发展水平的体现。特定领域的编程语言由于是面向特定环境的,因此,其可以适当减弱通用语法能力,而加强其专业相关的语法设计。坦白讲,这会是一个非常有争议的话题。

colorknight的专栏 925

中科院计算所在可信大数据软件技术方面的研究工作【DOC+PPT下载】

http://pan.baidu.com/s/1qWOCMxm 清单: 中科院计算所在可信大数据软件技术方面的研究工作.doc 【本文doc文档】 中科院计算所在可信大数据软件技术方面的研究工作.ppt 【本文ppt演讲稿】 PS:前段时间接到任务,对中科院计算所在可信大数据软件技术方面的研究工作进行调研,以下是正文。 第1章 鉴定/验收的代表性成果 1.1 天玑大规模网络信息处理系统 在 国 家“973” 课题“ 基 于 Internet 超大规模知识检索的算法及应

Casbin开源社区 6607

编译原理学习指导

编译原理是计算机专业课程中最难同时也是最有挑战性的一门,理论上高度抽象,而且要求扎实的数学功底,在实践上也对数据结构的知识要求比较高.但是编译原理又是计算机科学中最为基础和重要的,类似于高等数学在理工科中的地位,所以今天粗略的跟大家谈谈这门课程的学习.一、为什么学编译原理?1、  编译原理蕴涵着计算机学科中解决问题的思路、抽象问题和解决问题的方法;2、  编译原理课程的学习有利于加深对程序语言的理解,可以帮助你更加快速的掌握新的语言工具;3、  课程中包含了很多软件技术,这对于以后从事软件设计是很有帮助的.

青帝的专栏 2009

(2) 用java实现一个简易编译器1-词法解析入门

转载地址 : http://blog.youkuaiyun.com/tyler_download/article/details/50668983/ 视频地址 : http://study.163.com/course/courseLearn.htm?courseId=1002830012#/learn/video?lessonId=1003210101&courseId=1002830012 正文内容

jianfpeng241241的专栏 2729

编译原理学习指导 - ★★★TINYUE的专栏★★★ - 优快云Blog

编译原理学习指导 编译原理是计算机专业课程中最难同时也是最有挑战性的一门,理论上高度抽象,而且要求扎实的数学功底,在实践上也对数据结构的知识要求比较高.但是编译原理又是计算机科学中最为基础和重要的,类似于高等数学在理工科中的地位,所以今天粗略的跟大家谈谈这门课程的学习.一、为什么学编译原理?1、 编译原理蕴涵着计算机学科中解决问题的思路、抽象问题和解决问题的方法;2、 编译原理课程的学...

weixin_30686845的博客 243

097黄大贞

  编译原理是计算机专业的一门重要专业课,旨在介绍编译程序构造的一般原理和基本方法。内容包括语言和文法、词法分析、语法分析、语法制导翻译、中间代码生成、存储管理、代码优化和目标代码生成。编译原理蕴涵着计算机学科中解决问题的思路、抽象问题和解决问题的方法;而且编译原理课程的学习有利于加深对程序语言的理解,可以帮助你更加快速的掌握新的语言工具;课程中包含了很多软件技术,这对于以后从事软件设...

weixin_30690833的博客 75

编译原理(王生源第三版)第一章学习笔记(含第一章习题)

编译原理学习笔记

wwibc89的博客 3644
上一篇: 《软件技术基础》之《程序语言的设计》
下一篇: 《软件技术基础》之《语法分析》
UestcXiye
博客等级 码龄8年 9033粉丝 1306原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UestcXiye

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值