九-检查文件md5值

最新推荐文章于 2024-11-24 13:00:16 发布

神镖葫芦

最新推荐文章于 2024-11-24 13:00:16 发布

阅读量218

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 文章标签：检查md5值 4096字节文件过大取出

本文链接：https://blog.youkuaiyun.com/weixin_43687527/article/details/95535752

Python 专栏收录该内容

21 篇文章

订阅专栏

博客指出处理大文件时，若一次性读取会导致文件过大、内存占用过多。解决办法是将文件一小部分一小部分取出，再进行md5值检查，避免内存过度占用问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

面对大文件，可能一次read出来文件过大，内存占用过多，所以可以一小部分一小部分的拿出来，然后再检查md5值。

import hashlib
import sys

def check_md5(fname):
    m = hashlib.md5()
    with open(fname, 'rb') as fobj:
        while True:
            data = fobj.read(4096)      # 每次取出4096字节
            if not data:                # 如果没有了，就推出
                break
            m.update(data)            
    return m.hexdigest()

if __name__ == '__main__':
    print(check_md5(sys.argv[1]))