使用Python生成大文件的md5，可用于文件分块传输的校验

最新推荐文章于 2024-10-03 13:06:43 发布

旷古的寂寞

最新推荐文章于 2024-10-03 13:06:43 发布

阅读量1k

点赞数 1

分类专栏： Python 文章标签： md5 大文件分块分块迭代校验

本文链接：https://blog.youkuaiyun.com/kuanggudejimo/article/details/99314929

版权

Python 专栏收录该内容

57 篇文章

订阅专栏

包含了大文件安全读取的方法，md5对象的转换和存储方法，示例如下：

import rehash
import pickle
import base64

file_path = ''  # 文件路径

file_hash = rehash.md5()  # 生成md5迭代器
with open(file_path, 'rb') as the_file:
    for line in the_file:  # 对可迭代对象the_file进行迭代遍历，会自动地使用缓冲IO（buffered IO）以及内存管理，避免读取大文件导致内存溢出
        file_hash.update(line)
print(file_hash.hexdigest())  # 获得md5字符串

# md5迭代器的转换存储，使用pickle把对象转换为字节流，然后使用base64转换为一定长度的字符串
file_hash_str = base64.b64encode(pickle.dumps(file_hash)).decode()
# 字符串逆向转换为md5迭代器，可用于再次迭代或者提取md5字符串
file_hash = pickle.loads(base64.b64decode(file_hash_str.encode()))
print(file_hash.hexdigest())  # 校验转换效果