python 获取请求链接下载文件的大小和文件特征

最新推荐文章于 2025-10-22 09:59:10 发布

原创最新推荐文章于 2025-10-22 09:59:10 发布 · 5.2k 阅读

3 ·

CC 4.0 BY-SA版权

python学习同时被 2 个专栏收录

100 篇文章

订阅专栏

爬虫开发学习

33 篇文章

订阅专栏

本文介绍了一种通过URL链接获取远程文件大小及类型的Python函数实现。该函数使用urllib2模块发送HEAD请求，从HTTP响应头部读取'Content-Length'和'Content-Type'字段，从而确定文件大小和类型。

###根据url链接提取下载文件的大小特征和下载文件类型
def getRemoteFileSize(url, proxy=None):
    '''
    通过content-length头获取远程文件大小
    '''
    opener = urllib2.build_opener()
    if proxy:
        if url.lower().startswith('https://'):
            opener.add_handler(urllib2.ProxyHandler({'https' : proxy}))
        elif url.lower().startswith('http://'):
            opener.add_handler(urllib2.ProxyHandler({'http' : proxy}))
        else:
            opener.add_handler(urllib2.ProxyHandler({'ftp': proxy}))
    try:
        request = urllib2.Request(url)
        request.get_method = lambda: 'HEAD'
        response = opener.open(request)
        response.read()
    except Exception, e:
        # 远程文件不存在
        return 0, 0
    else:
        getfileSize = dict(response.headers).get('content-length', 0)
        filesize = round(float(getfileSize) / 1048576, 2)
        getContentType = dict(response.headers).get('content-type', 0)
        return filesize, getContentType

参考链接：http://blog.sina.com.cn/s/blog_12c7a20b00102w80l.html