Python：IO编程（读写文件）、序列化和反序列化

IO编程

同步和异步的区别就在于是否等待IO执行的结果。
好比你去麦当劳点餐，你说“来个汉堡”，服务员告诉你，对不起，汉堡要现做，需要等5分钟，于是你站在收银台前面等了5分钟，拿到汉堡再去逛商场，这是同步IO。
你说“来个汉堡”，服务员告诉你，汉堡需要等5分钟，你可以先去逛商场，等做好了，我们再通知你，这样你可以立刻去干别的事情（逛商场），这是异步IO。
使用异步IO来编写程序性能会远远高于同步IO，但是异步IO的缺点是编程模型复杂。想想看，你得知道什么时候通知你“汉堡做好了”，而通知你的方法也各不相同。如果是服务员跑过来找到你，这是回调模式，如果服务员发短信通知你，你就得不停地检查手机，这是轮询模式。总之，异步IO的复杂度远远高于同步IO。

1.读文件

# 方法1
try:
    f = open('/Users/bilibili/Desktop/pycode1/study2/test.txt', 'r')
    print(f.read()) # 一次读取所有的内容
finally:
    if f:
        f.close()

# 方法2：with…open…默认模式为‘r’，只读模式
with open('/Users/bilibili/Desktop/pycode1/study2/test.txt', 'r') as f:
    print(f.read(9))  # 读取九个字符，最后一个是\n

with open('/Users/bilibili/Desktop/pycode1/study2/test.txt', 'r') as f:
    print(f.readlines())  # 按行读取，返回一个列表，列表的每一个元素是文件的每一行

with open('/Users/bilibili/Desktop/pycode1/study2/test.txt', 'r') as f:
    print(f.readline())   # 读取第一行的内容

# 如果是配置文件，调用readlines()最方便

调用read()会一次性读取文件的全部内容，如果文件有10G，内存就爆了，所以，要保险起见，可以反复调用read(size)方法，每次最多读取size个字节的内容。
调用readline()可以每次读取一行内容，调用readlines()一次读取所有内容并按行返回list。因此，要根据需要决定怎么调用

读取二进制文件

# 读取二进制文件，比如图片、视频等等
f = open('/Users/bilibili/Desktop/pycode1/study2/test.gif', 'rb')
print(f.read())

f = open('/Users/bilibili/Desktop/pycode1/study2/let it go.mp4', 'rb')
print(f.read())

要读取非UTF-8编码的文本文件
需要给open()函数传入encoding参数，例如，读取GBK编码的文件

f = open('/Users/michael/gbk.txt', 'r', encoding='gbk')
f.read()

遇到有些编码不规范的文件，你可能会遇到UnicodeDecodeError，因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况，open()函数还接收一个errors参数，表示如果遇到编码错误后如何处理。最简单的方式是直接忽略

f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')

2.写文件

写文件和读文件是一样的，唯一区别是调用open()函数时，传入标识符’w’或者’wb’表示写文本文件或写二进制文件，'a’表示在原来内容的后面追加

with open('/Users/bilibili/Desktop/pycode1/study2/test.txt', 'w') as f:  # 如果filename不存在会自动创建， 'w'表示写数据，写之前会清空文件中的原有数据！
    f.write("I am Meringue.\n”)

with open('/Users/bilibili/Desktop/pycode1/study2/test.txt', 'a') as f:  # 'a'表示append,即在原来文件内容后继续写数据（不清楚原有数据）
    f.write("I major in Machine learning and Computer vision.\n")

StringIO：在内存中读写str

import io import StringIO
f = StringIO()
f.write('hello world')
print(f.getvalue())  # getvalue()方法用于获得写入后的str

可以用字符串初始化StringIO

s = 'Hello!\nHi!\nGoodbye!'
f = StringIO(s)
while True:
    ret = f.readline()
    if ret == '':
        break
    print(ret.rstrip())
BytesIO：在内存中读写bytes
f = BytesIO()
f.write('中文'.encode('utf-8'))
print(f.getvalue())

序列化

我们把变量从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling，反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，即unpickling。
Python提供了pickle模块来实现序列化。
pickle.dumps()

# pickle.dumps()方法把任意对象序列化成一个bytes，然后，就可以把这个bytes写入文件。
d = dict(name='bob', age=20, score=90)
print(pickle.dumps(d))

pickle.dump()

# pickle.dump()直接把对象序列化后写入一个file-like Object
# 序列化
d = dict(name='bob', age=20, score=90)
with open('/Users/bilibili/Desktop/pycode1/study2/test1.txt', 'wb') as f:
    pickle.dump(d, f)  # test1.txt文件里是

反序列化

with open('/Users/bilibili/Desktop/pycode1/study2/test1.txt', 'rb') as f:
    print(pickle.load(f))

Json

序列化

json.dumps(d)：把python对象转换成json格式，返回的是一个str

# dumps()方法返回一个str，内容就是标准的JSON
d = dict(name='bob', age=20, score=90)
j = json.dumps(d)
print(j)

dump()方法可以直接把JSON写入一个file-like Object

d = dict(name='bob', age=20, score=90)
with open('/Users/bilibili/Desktop/pycode1/study2/test1.txt', 'w') as f:
    json.dump(d, f)

反序列化

json.load(f)：把文件里的json格式的字符串反序列化成一个python对象

with open('/Users/bilibili/Desktop/pycode1/study2/test1.txt', 'r') as f:
    print(json.load(f))