Python词法分析机制深度解析

Python词法分析机制深度解析

cpython cpython: 是Python编程语言的官方源代码仓库，包含Python解释器和标准库的实现。 项目地址: https://gitcode.com/gh_mirrors/cp/cpython

什么是词法分析

词法分析是Python解释器处理源代码的第一步，它将源代码文本转换为一系列有意义的标记(token)的过程。这个过程由词法分析器(lexical analyzer)或称标记生成器(tokenizer)完成，为后续的语法分析阶段提供输入。

源代码编码处理

Python默认使用UTF-8编码读取程序文本。源文件的编码可以通过编码声明指定，声明必须出现在文件的第一或第二行，格式为：

# -*- coding: <encoding-name> -*-

或者

# vim:fileencoding=<encoding-name>

如果未指定编码声明，解释器将默认使用UTF-8。如果文件以UTF-8编码且包含BOM(字节顺序标记)，BOM会被自动忽略。

行结构解析

逻辑行与物理行

Python程序由多个逻辑行组成，每个逻辑行以NEWLINE标记结束。一个逻辑行可以由一个或多个物理行通过显式或隐式的行连接规则构成。

• 物理行：以行结束符(如\n、\r\n等)终止的字符序列
• 逻辑行：构成完整语句的代码单元，可能由多个物理行组成

行连接方式

Python提供两种行连接方式：

1. 显式连接：使用反斜杠()连接多行

   if 1900 < year < 2100 and 1 <= month <= 12 \
      and 1 <= day <= 31:  # 使用反斜杠显式连接
       return True
   

2. 隐式连接：括号内的表达式自动连接

   month_names = ['January', 'February', 'March',   # 隐式连接
                  'April', 'May', 'June']
   

注释处理

Python注释以井号(#)开头，直到物理行结束。注释不会影响程序逻辑，但在以下情况有特殊作用：

• 文件前两行的编码声明
• 终止逻辑行(除非使用行连接规则)

缩进机制

Python使用缩进来表示代码块结构，这是其语法的重要组成部分：

1. 缩进由空格和制表符组成
2. 制表符会被替换为1-8个空格，使总字符数为8的倍数
3. 混合使用制表符和空格可能导致TabError
4. 解释器使用栈结构管理缩进级别，生成INDENT和DEDENT标记

示例：

def func():        # 缩进级别0
    if True:      # 缩进级别1
        pass      # 缩进级别2
    return        # 缩进级别1

标识符规则

Python标识符(变量名、函数名等)遵循以下规则：

1. 首字符：字母或下划线
2. 后续字符：字母、数字或下划线
3. 区分大小写
4. 长度无限制
5. 支持Unicode字符(需符合NFKC规范化形式)

特殊标识符类别：

• _var：不会被from module import *导入
• __var__：系统定义的"魔术"方法
• __var：类私有名称(会进行名称改写)

关键字系统

Python关键字分为两类：

1. 保留关键字：如if、def等，不能用作标识符
2. 软关键字：如match、case等，仅在特定上下文中作为关键字

字面量表示

Python支持多种字面量表示方式：

1. 字符串字面量：

   • 单引号(')或双引号(")括起的短字符串
   • 三引号('''或""")括起的长字符串
   • 支持多种前缀：r(原始字符串)、f(f字符串)等

2. 数值字面量：

   • 整数：123、0x1F(十六进制)
   • 浮点数：3.14、1e-5
   • 复数：3+4j

词法分析过程

词法分析器从左到右扫描源代码，遵循最长匹配原则生成标记。除NEWLINE、INDENT和DEDENT外，主要生成以下类型标记：

1. 标识符(NAME)
2. 字面量(NUMBER、STRING等)
3. 运算符(OP)
4. 分隔符

空白字符(空格、制表符等)仅用于分隔标记，本身不会生成标记。

理解Python的词法分析机制对于编写符合规范的代码和深入理解Python运行原理至关重要。这些规则构成了Python语法的基础，影响着代码的编写方式和解释器的行为。

cpython cpython: 是Python编程语言的官方源代码仓库，包含Python解释器和标准库的实现。 项目地址: https://gitcode.com/gh_mirrors/cp/cpython