Python学习笔记11_IO编程

Input和Output，Input Stream就是数据从外面(磁盘、网络)流进内存，Output Stream就是数据从内存流到外面去。

同步和异步，区别在于是否等待IO执行的结果，比如要把100M的数据写入磁盘，CPU输出100M的数据只需要0.01秒，可磁盘接收这100M数据可能需要10秒。同步IO是CPU等待，即程序暂停执行后续代码，等100M的数据在10秒后写入磁盘，再往下执行，异步IO是CPU不等待，只是告诉磁盘，“您老慢慢写，我接着干别的事去了”，数据写好后，通知CPU，通知的方法有回调和轮询等模式。

文件读写

打开一个文件对象，使用open()函数，如果文件不存在，抛出IOError错误。

如果文件很小，一次读取文件的全部内容，调用read()方法。如果不能确定文件大小，调用read(size)方法，每次最多读取size个字节。调用readline()方法每次读取一行内容，如果是配置文件，调用readlines()一次读取所有内容并按行返回list。

try:
    f = open('/path/to/file', 'r')
    print(f.read())
finally:
    if f:
        f.close()

with open('/path/to/file', 'r') as f:
    print(f.read())

关闭文件，调用close()方法。

file-like Object

StringIO是内存中创建的file-like Object，常用作临时缓冲。

读取二进制文件，如图片、视频等，用rb模式打开文件。

字符编码，读取非UTF-8编码的文本文件，需要给open()函数传入encoding参数，遇到有些编码不规范的文件，可能会遇到UnicodeDecodeError，在这种情况下，open()函数可接收一个errors提示如果遇到编码错误后如何处理，最简单的方式是直接忽略。

<<< f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', error='ingore')

写文件

with open('/Users/michael/test.txt', 'w') as f:
    f.write('Hello, world!')

StringIO和BytesIO

StringIO，在内存中读写数据，只能操作str。

BytesIO， 操作二进制数据，在内存中读写bytes。

操作文件和目录

<<< import os
<<< os.name  # 操作系统类型
'posix'
<<< os.uname  # 在Window上不提供，os模块的某些函数跟操作系统相关。

# 环境变量
<<< os.environ
# 获取某个环境变量的值
os.environ.get('PATH')

# 操作文件和目录
# 查看当前目录的绝对路径
<<< os.path.abspath('.')
# 在某个目录下创建一个新目录，首先把新目录的完整路径表示出来
<<< os.path.join('/Users/michael', 'testdir')
'/Users/michael/testdir'
# 然后创建一个目录
<<< os.mkdir('/Users/michael/testdir')
# 删掉一个目录
<<< os.rmdir('/Users/michael/testdir')
# 拆分路径
<<< os.path.split('/Users/michael/testdir/file.txt')
('/Users/michael/testdir', 'file.txt')
# 得到文件扩展名
<<< os.path.splitext('/path/to/file.txt')
('/path/to/file', 'txt')

# 对文件重命名
<<< os.rename('test.txt', 'test.py')
# 删除文件
<<< os.remove('test.py')

# 列出当前目录下的所有目录
<<< [x for x in os.listdir('.') if os.path.isdir(x)]

# 列出所有的.py文件
<<< [x for x in os.listdir('.') if os.path.isfile(x) and os.path.splitext(x)[1]=='.py']

序列化

序列化(pickling/serialization)，序列化之后，可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上。

反序列化(unpickling)，把变量内容从序列化后的对象重新读到内存里。

pickle.dumps()方法把任意对象序列化成一个bytes，然后可以把这个bytes写入文件。

# 把一个对象序列化并写入文件
<<< import pickle
<<< d = dict(name='Bob', age=20, score=88)
<<< pickle.dumps(d)  # 序列化成一个bytes
# pickle.dump()把对象序列化后写入一个file-like Object
<<< f = open('dump.txt', 'wb')
<<< pickle.dump(d, f)
<<< f.close()

把对象从磁盘读到内存时，可以先把内容读到一个bytes，然后用pickle.loads()方法反序列化出对象，也可以直接用pickle.load()方法从一个file-like Object中直接反序列化出对象。

<<< f = open('dump.txt', 'rb')
<<< d = pickle.load(f)
<<< f.close()
<<< d

JSON

# Python对象到JSON格式的转换
<<< import json
<<< d = dict(name='Bob', age=20, score=88)
<<< json.dumps(d)
'{"age": 20, "score": 88, "name": "Bob"}'

dumps()方法返回一个str，内容就是标准的JSON。类似的，dump()方法可以直接把JSON写入一个file-like Object。

<<< json_str = '{"age": 20, "score": 88, "name": "Bob"}'
<<< json.loads(json_str)
{'age': 20, 'score': 88, 'name': 'Bob'}

把JSON反序列化为Python对象，用loads()或者对应的load()方法，loads()把JSON的字符串反序列化，load()从file-like Object中读取字符串并反序列化。

class的实例对象序列化为JSON，通过dumps()方法的可选参数default把任意一个对象变成一个可序列化为JSON的对象，为class专门写一个转换函数，把函数传进去。这样，class的实例对象首先被转换函数转换成dict，然后序列化为JSON。或者，可以偷个懒，把任意class的实例变为dict。因为通常class的实例都有一个__dict__属性，它就是一个dict，用来存储实例变量，但有少数例外，如定义了__slots__的class。

<<< print(json.dumps(s, default=lambda obj: obj.__dict__))

JSON反序列化为一个class对象实例，loads()方法首先转换出一个dict对象，然后，我们传入的object_hook函数负责把dict转换为对象实例。

微信公众号「数据分析」，分享数据科学家的自我修养，既然遇见，不如一起成长。