Python文件与流处理：高效读写数据的艺术-优快云博客

本文链接：https://blog.youkuaiyun.com/brycle/article/details/148997910

引言

作为一名程序员，我们每天都需要与文件打交道——无论是读取配置文件、处理日志文件，还是存储程序生成的数据。Python提供了强大而灵活的文件处理能力，让这些操作变得简单高效。本文将深入探讨Python中的文件与流处理，帮助你掌握这一核心技能。、

一、文件操作基础

1. 打开文件

Python使用内置的open()函数来打开文件：

# 基本语法
file = open('example.txt', 'r')  # 打开文件用于读取

文件模式包括：

'r'：读取（默认）
'w'：写入（会覆盖现有文件）
'a'：追加
'x'：独占创建（文件已存在则失败）
'b'：二进制模式
't'：文本模式（默认）
'+'：更新（读取和写入）

2. 读取文件内容

# 读取整个文件
with open('example.txt', 'r') as file:
    content = file.read()

# 逐行读取
with open('example.txt', 'r') as file:
    for line in file:
        print(line.strip())  # strip()去除换行符

3. 写入文件

# 写入文件（覆盖）
with open('output.txt', 'w') as file:
    file.write("Hello, World!\n")
    file.write("This is a new line.")

# 追加内容
with open('output.txt', 'a') as file:
    file.write("\nAppended content.")

二、高级文件操作

1. 上下文管理器（with语句）

使用with语句可以确保文件正确关闭，即使发生异常：

with open('example.txt', 'r') as file:
    data = file.read()
# 文件在这里自动关闭

2. 二进制文件处理

# 读取二进制文件（如图片）
with open('image.jpg', 'rb') as file:
    binary_data = file.read()

# 写入二进制文件
with open('copy.jpg', 'wb') as file:
    file.write(binary_data)

3. 文件指针操作

with open('example.txt', 'r+') as file:
    # 获取当前位置
    position = file.tell()
    
    # 移动指针到文件开头
    file.seek(0)
    
    # 读取前5个字符
    print(file.read(5))
    
    # 移动指针到文件末尾
    file.seek(0, 2)

三、流处理与内存高效操作

处理大文件时，内存效率至关重要：

# 逐块读取大文件
def process_large_file(filename, chunk_size=1024):
    with open(filename, 'rb') as file:
        while True:
            chunk = file.read(chunk_size)
            if not chunk:
                break
            # 处理数据块
            process_chunk(chunk)

四、常见文件格式处理

1. CSV文件

import csv

# 读取CSV
with open('data.csv', 'r') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)

# 写入CSV
with open('output.csv', 'w', newline='') as file:
    writer = csv.writer(file)
    writer.writerow(['Name', 'Age'])
    writer.writerow(['Alice', 25])

2. JSON文件

import json

# 读取JSON
with open('data.json', 'r') as file:
    data = json.load(file)

# 写入JSON
with open('output.json', 'w') as file:
    json.dump(data, file, indent=4)

五、文件系统操作

Python的os和pathlib模块提供了丰富的文件系统操作：

from pathlib import Path

# 创建Path对象
p = Path('example.txt')

# 检查文件是否存在
if p.exists():
    print(f"File size: {p.stat().st_size} bytes")

# 遍历目录
for item in Path('.').glob('*.txt'):
    print(item.name)

1. 性能考虑

os.path函数通常稍微快一点，因为它们是纯函数操作字符串
pathlib因为面向对象的特性有轻微开销，但在大多数应用中差异可以忽略

2.何时选择哪种？

使用os.path：

维护旧代码时保持一致性
需要最高性能的路径操作（虽然差异通常很小）
只需要简单的路径拼接或检查

使用pathlib：

编写新代码时（Python官方推荐）
需要更可读、更面向对象的API
要进行复杂的路径操作或文件系统交互
想要利用方法链式调用的优势

3.总结对比表

特性	os.path	pathlib
编程风格	函数式	面向对象
路径表示	字符串	Path对象
可读性	一般	更好
方法链	不支持	支持
内置文件IO	无	有
性能	稍快	稍慢
Python版本	所有版本	3.4+