46. 文件读写基础（open、read、write）

一、文件打开与关闭

open() 函数的基本用法

概念定义

open() 是 Python 内置的文件操作函数，用于打开文件并返回一个文件对象。通过该对象可以对文件进行读取、写入等操作。

使用场景

1. 读取文件内容（如配置文件、日志文件等）
2. 写入数据到文件（如保存程序输出、记录数据等）
3. 追加内容到已有文件

常见模式

模式	描述
‘r’	只读（默认）
‘w’	写入（会覆盖已有文件）
‘a’	追加
‘b’	二进制模式
‘+’	读写模式

示例代码

# 读取文件
with open('example.txt', 'r') as file:
    content = file.read()
    print(content)

# 写入文件
with open('output.txt', 'w') as file:
    file.write('Hello, World!')

# 追加内容
with open('output.txt', 'a') as file:
    file.write('\nAppended text')

注意事项

1. 使用 with 语句可以自动关闭文件，避免资源泄露
2. 写入模式（‘w’）会覆盖已有文件内容
3. 文件路径可以是相对路径或绝对路径
4. 操作完成后应及时关闭文件（with 语句会自动处理）

文件打开模式

概念定义

文件打开模式是指在Python中使用open()函数打开文件时指定的访问方式，决定了文件可读、可写或追加等操作权限。常见的模式包括：

• r：只读（默认）
• w：写入（覆盖原有内容）
• a：追加（在文件末尾添加内容）
• x：独占创建（文件已存在则报错）
• b：二进制模式（与上述模式组合使用）
• t：文本模式（默认，与上述模式组合使用）
• +：读写模式（与r/w/a组合使用）

使用场景

1. r模式：读取配置文件、日志分析等只读需求
2. w模式：创建新文件或覆盖写入（如日志轮转）
3. a模式：持续追加数据（如服务器日志记录）
4. x模式：确保不会意外覆盖已有文件
5. b模式：处理图片、视频等二进制文件

常见误区

1. w模式会清空文件：打开即清空原有内容，误用可能导致数据丢失
2. 未显式关闭文件：应使用with语句或手动close()
3. 模式组合错误：如rb+表示二进制读写，而r+b是无效语法
4. 编码问题：文本模式建议指定encoding参数（如encoding='utf-8'）

示例代码

# 读取文件
with open('data.txt', 'r', encoding='utf-8') as f:
    content = f.read()

# 写入新文件（覆盖）
with open('output.txt', 'w') as f:
    f.write("Hello\nWorld")

# 追加内容
with open('logs.txt', 'a') as f:
    f.write("New log entry\n")

# 二进制读取
with open('image.jpg', 'rb') as f:
    binary_data = f.read()

# 读写模式
with open('database.db', 'r+') as f:
    data = f.read()
    f.seek(0)
    f.write("Updated " + data)

with语句自动关闭文件

概念定义

with语句是Python中用于资源管理的一种语法结构，它能够确保在代码块执行完毕后自动释放资源（如文件、网络连接等）。对于文件操作，with语句会在代码块执行完毕后自动关闭文件，无需手动调用close()方法。

使用场景

1. 文件读写操作
2. 数据库连接
3. 网络连接
4. 任何需要确保资源被正确释放的场景

常见误区或注意事项

1. 不要在with代码块外继续使用已关闭的文件对象
2. with语句只能管理支持上下文管理协议的对象（实现了__enter__和__exit__方法的对象）
3. 即使代码块中发生异常，文件也会被正确关闭

示例代码

# 传统方式（需要手动关闭文件）
file = open('example.txt', 'r')
try:
    content = file.read()
finally:
    file.close()

# 使用with语句（自动关闭文件）
with open('example.txt', 'r') as file:
    content = file.read()
# 文件已自动关闭，无需手动调用close()

二、文件读取操作

read() 方法读取全部内容

概念定义

read() 是 Python 中文件对象的一个方法，用于从文件中读取全部内容。调用该方法时，它会返回文件中的所有数据（以字符串或字节形式，取决于文件打开模式）。

使用场景

• 当需要一次性读取整个文件内容时（例如配置文件、小型文本文件）。
• 适用于文件内容较小的情况，因为大文件可能会占用过多内存。

常见误区或注意事项

1. 内存问题：如果文件过大，read() 会一次性加载全部内容到内存，可能导致内存溢出。
2. 文件指针：调用 read() 后，文件指针会移动到文件末尾，再次调用 read() 会返回空字符串（除非重置指针或重新打开文件）。
3. 编码问题：读取文本文件时需确保文件打开时指定了正确的编码（如 encoding='utf-8'），否则可能抛出解码错误。

示例代码

# 读取文本文件内容
with open('example.txt', 'r', encoding='utf-8') as file:
    content = file.read()  # 读取全部内容
    print(content)

# 读取二进制文件内容
with open('example.bin', 'rb') as file:
    binary_data = file.read()  # 读取全部字节
    print(binary_data)

readline() 和 readlines() 逐行读取

概念定义

• readline(): 每次调用读取文件的一行，返回字符串类型。如果到达文件末尾，返回空字符串 ''。
• readlines(): 一次性读取所有行，返回包含所有行的列表，每个元素是一行内容（字符串）。

使用场景

• readline(): 适合处理大文件或需要逐行实时处理的场景（如日志分析）。
• readlines(): 适合文件较小且需要直接操作所有行的场景（如配置文件加载）。

注意事项

1. readlines() 会一次性加载全部内容到内存，大文件可能导致内存不足。
2. readline() 需配合循环手动控制读取过程，注意终止条件（如 while line != ''）。
3. 两者均保留行末换行符 \n，处理时可能需要 strip()。

示例代码

# readline() 示例
with open('data.txt', 'r') as file:
    line = file.readline()
    while line != '':
        print(line.strip())  # 去掉换行符
        line = file.readline()

# readlines() 示例
with open('data.txt', 'r') as file:
    lines = file.readlines()  # 列表形式
    for line in lines:
        print(line.strip())

文件指针与seek()方法

概念定义

文件指针是一个标记，用于指示在文件中当前读取或写入的位置。seek()方法是Python文件对象的一个方法，用于移动文件指针到指定位置。

使用场景

1. 随机访问文件内容（非顺序读取）
2. 修改文件特定位置的内容
3. 重新读取文件的部分内容
4. 处理大型文件时跳过不需要的部分

常见误区或注意事项

1. 以文本模式打开文件时，seek()的偏移量应来自tell()返回的值
2. 在追加模式(‘a’)下，seek()对写入操作无效
3. 移动指针超出文件末尾不会立即扩展文件
4. 不同操作系统可能有不同的行结束符处理方式

示例代码

# 打开文件
with open('example.txt', 'r+') as f:
    # 读取前5个字符
    print(f.read(5))  # 读取后指针移动到第5个字符后
    
    # 移动指针到文件开头
    f.seek(0)
    print(f.read(5))  # 再次读取前5个字符
    
    # 移动指针到第10个字节处
    f.seek(10)
    print(f.read(3))  # 读取第10-12个字符
    
    # 获取当前指针位置
    pos = f.tell()
    print(f"当前指针位置: {pos}")
    
    # 从文件末尾向前移动5个字节
    f.seek(-5, 2)
    print(f.read())  # 读取最后5个字符

三、文件写入操作

write() 方法写入字符串

概念定义

write() 是 Python 文件对象的一个方法，用于将字符串写入文件。它不会自动添加换行符，需要手动添加 \n 来实现换行。

使用场景

• 将数据写入文本文件
• 记录日志信息
• 生成配置文件
• 保存程序输出结果

注意事项

1. 文件需要以写入模式（‘w’）或追加模式（‘a’）打开
2. 写入的内容必须是字符串类型
3. 不会自动添加换行符
4. 使用 ‘w’ 模式会覆盖原文件内容
5. 写入后需要调用 close() 方法或使用 with 语句确保文件正确关闭

示例代码

# 基本写入示例
with open('example.txt', 'w') as f:
    f.write('Hello, World!\n')
    f.write('This is a second line.\n')

# 追加内容示例
with open('example.txt', 'a') as f:
    f.write('This line will be appended.\n')

# 写入多行内容
lines = ['First line\n', 'Second line\n', 'Third line\n']
with open('multi_lines.txt', 'w') as f:
    f.writelines(lines)

writelines() 方法

概念定义

writelines() 是 Python 文件对象的一个方法，用于将一个字符串序列（如列表、元组等）写入文件。与 write() 方法不同，writelines() 可以一次性写入多行内容，而无需多次调用。

使用场景

当需要将多行文本（如日志记录、批量数据导出等）一次性写入文件时，使用 writelines() 比多次调用 write() 更高效。它特别适合处理已经存储在列表或元组中的多行数据。

注意事项

1. writelines() 不会自动在每行末尾添加换行符，需要手动在每行字符串中包含 \n。
2. 如果传入的可迭代对象中包含非字符串类型，会抛出 TypeError 异常。
3. 文件必须以写入模式（如 'w' 或 'a'）打开才能使用该方法。

示例代码

# 准备多行数据（注意每行包含 \n）
lines = ["第一行\n", "第二行\n", "第三行\n"]

# 写入文件
with open("example.txt", "w") as file:
    file.writelines(lines)

# 结果：文件内容为：
# 第一行
# 第二行
# 第三行

换行符处理与编码问题

概念定义

换行符是文本文件中用于表示行结束的特殊字符。在不同操作系统中，换行符的表示方式不同：

• Windows：\r\n（回车+换行）
• Unix/Linux：\n（换行）
• 旧版Mac：\r（回车）

编码问题指的是当处理文本文件时，由于字符编码不一致（如UTF-8、GBK等）导致的乱码或解析错误。

使用场景

1. 跨平台文本文件处理
2. 网络数据传输
3. 日志文件分析
4. 文本编辑器开发

常见误区或注意事项

1. 不要假设所有文件都使用相同的换行符
2. 打开文件时应明确指定编码方式
3. 二进制模式读取会保留原始换行符
4. 文本模式读取会自动转换换行符为\n

示例代码

# 正确处理换行符
with open('file.txt', 'r', encoding='utf-8') as f:
    content = f.read()  # 自动统一换行符为\n

# 保留原始换行符
with open('file.txt', 'rb') as f:
    content = f.read()  # 保持原始\r\n或\n

# 统一换行符为Linux风格
text = "Line1\r\nLine2\r\n"
unified = text.replace('\r\n', '\n')

# 处理编码问题
try:
    with open('file.txt', 'r', encoding='gbk') as f:
        content = f.read()
except UnicodeDecodeError:
    with open('file.txt', 'r', encoding='utf-8') as f:
        content = f.read()

四、常见文件操作模式

文本模式与二进制模式

概念定义

文本模式和二进制模式是文件打开的两种不同方式：

• 文本模式：处理文件内容为字符串，自动执行平台相关的换行符转换（如Windows的\r\n转换为\n）
• 二进制模式：直接处理原始字节数据，不进行任何转换

使用场景

• 文本模式适合处理：
  • 纯文本文件（.txt, .csv等）
  • 需要自动换行符转换的场景
• 二进制模式适合处理：
  • 非文本文件（图片、音频、视频等）
  • 需要精确控制字节数据的场景
  • 跨平台一致性要求高的场景

常见误区

1. 在Windows平台用文本模式处理二进制文件会导致数据损坏
2. 二进制模式下读取文本需要手动处理编码
3. 文件指针位置在两种模式下表现可能不同（因文本模式有转换）

示例代码

# 文本模式示例
with open('example.txt', 'r') as f:  # 默认是文本模式
    content = f.read()  # 自动解码为字符串

# 二进制模式示例
with open('image.jpg', 'rb') as f:  # 注意'b'表示二进制
    data = f.read()  # 获取原始字节数据

追加模式与覆盖模式

概念定义

追加模式（Append Mode）和覆盖模式（Write Mode）是文件操作的两种基本模式，用于控制写入内容时对原有文件的影响：

• 追加模式：在文件末尾添加新内容，保留原有内容。
• 覆盖模式：清空文件原有内容，从头开始写入新内容。

使用场景

• 追加模式：适用于日志记录、数据累积等需要保留历史数据的场景。
• 覆盖模式：适用于需要完全替换文件内容的场景，如配置文件更新。

常见误区或注意事项

1. 覆盖模式会立即清空文件，误操作可能导致数据丢失。
2. 追加模式不会自动换行，需要手动添加换行符\n。
3. 两种模式都会自动创建不存在的文件。

示例代码

# 覆盖模式示例
with open("data.txt", "w") as f:
    f.write("This will overwrite the file\n")

# 追加模式示例
with open("data.txt", "a") as f:
    f.write("This will append to the file\n")

读写组合模式（r+/w+/a+）

概念定义

读写组合模式是Python文件操作中常用的三种模式，用于同时支持读写操作：

• r+：读写模式（文件必须存在）
• w+：读写模式（会清空文件）
• a+：追加读写模式（文件不存在则创建）

使用场景

1. r+：需要读取并修改现有文件内容时
2. w+：需要创建新文件或清空已有文件后进行读写时
3. a+：需要在文件末尾追加内容同时保留读取能力时

常见误区

1. r+不会自动创建文件，文件不存在会报错
2. w+会立即清空文件内容，误用可能导致数据丢失
3. 所有模式的文件指针初始位置不同：
   • r+/w+在文件开头
   • a+在文件末尾

示例代码

# r+ 示例
with open("example.txt", "r+") as f:
    content = f.read()  # 先读取
    f.write("新增内容")  # 再写入

# w+ 示例
with open("example.txt", "w+") as f:
    f.write("全新内容")  # 先清空写入
    f.seek(0)           # 将指针移回开头
    print(f.read())     # 再读取

# a+ 示例
with open("example.txt", "a+") as f:
    f.write("追加内容")  # 先追加
    f.seek(0)           # 将指针移回开头
    print(f.read())     # 再读取

五、异常处理与最佳实践

文件不存在异常处理

概念定义

在Python中，当尝试打开或操作一个不存在的文件时，会引发FileNotFoundError异常。这是OSError的一个子类，专门用于处理文件路径相关的问题。

使用场景

1. 读取用户提供的文件路径
2. 处理可能被移动或删除的文件
3. 确保程序在文件缺失时能优雅地处理错误

常见误区

1. 只捕获Exception基类而不是具体的FileNotFoundError
2. 在异常处理块中不做任何处理或提示
3. 忘记检查文件路径是否正确

示例代码

try:
    with open('nonexistent_file.txt', 'r') as f:
        content = f.read()
except FileNotFoundError:
    print("错误：文件不存在，请检查路径")
except PermissionError:
    print("错误：没有文件访问权限")
except OSError as e:
    print(f"系统错误: {e}")

资源释放的保证方法

概念定义

资源释放的保证方法是指在程序运行过程中，确保系统资源（如文件、数据库连接、网络连接等）在使用完毕后被正确释放的技术手段。这可以防止资源泄漏，提高程序的稳定性和性能。

使用场景

1. 文件操作：打开文件后需要确保关闭。
2. 数据库连接：使用完毕后需要释放连接。
3. 网络连接：建立连接后需要正确关闭。
4. 锁机制：获取锁后需要释放以避免死锁。

常见误区或注意事项

1. 忘记释放资源：手动管理资源时容易遗漏释放操作。
2. 异常处理不足：在异常发生时未能正确释放资源。
3. 资源释放顺序错误：可能导致资源泄漏或程序错误。
4. 过度依赖垃圾回收：某些资源（如文件句柄）不会被垃圾回收器自动释放。

示例代码

# 使用 try-finally 保证资源释放
file = None
try:
    file = open('example.txt', 'r')
    # 执行文件操作
finally:
    if file is not None:
        file.close()

# 使用 with 语句（推荐方式）
with open('example.txt', 'r') as file:
    # 执行文件操作
    pass  # 文件会在 with 块结束后自动关闭

# 自定义支持 with 语句的类
class ManagedResource:
    def __enter__(self):
        print("获取资源")
        return self
    
    def __exit__(self, exc_type, exc_val, exc_tb):
        print("释放资源")
        
with ManagedResource() as resource:
    print("使用资源")

大文件处理的内存优化

概念定义

大文件处理的内存优化是指在处理大型文件（如日志文件、数据库备份等）时，通过特定的技术手段减少内存占用，避免程序因内存不足而崩溃或性能下降。

使用场景

1. 读取或处理超过内存容量的文件
2. 需要长时间运行的批处理任务
3. 资源受限的环境（如嵌入式系统）
4. 需要同时处理多个大文件的场景

常见误区或注意事项

1. 错误：一次性读取整个文件到内存
   • 正确做法：使用流式读取或分块处理
2. 忽略文件编码问题可能导致内存估算错误
3. 忘记关闭文件句柄会导致资源泄漏
4. 过度优化可能影响处理速度，需要平衡内存和性能

示例代码

# 流式读取大文件（逐行处理）
def process_large_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            process_line(line)  # 处理每一行的函数

# 分块读取大文件
def read_in_chunks(file_path, chunk_size=1024*1024):  # 默认1MB
    with open(file_path, 'rb') as f:
        while True:
            chunk = f.read(chunk_size)
            if not chunk:
                break
            yield chunk  # 返回一个生成器

# 使用示例
for chunk in read_in_chunks('large_file.bin'):
    process_chunk(chunk)