使用python脚本批量下载gnome镜像网站下所有压缩文件 *.tar.bz2

mtOS1573

于 2018-06-20 21:53:48 发布

阅读量868

点赞数

CC 4.0 BY-SA版权

分类专栏：运维

本文链接：https://blog.youkuaiyun.com/developerof/article/details/80753140

运维专栏收录该内容

25 篇文章

订阅专栏

本文介绍了一个使用Python编写的脚本，该脚本能从指定网页抓取tar.bz2文件链接并进行批量下载。脚本运行在Linux环境下，依赖Python 2.7。它首先获取网页源代码，然后通过正则表达式匹配找到所有目标文件链接，并逐一下载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

运行环境：linux

依赖程序：python 2.7

import re
import sys
import urllib

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html


def down_file(url):
  file_name = url.split('/')[-1]
  print file_name
  u = urllib.urlopen(url)
  f = open(file_name, 'wb')
  meta = u.info()
  file_size = int(meta.getheaders("Content-Length")[0])

  file_size_dl = 0
  block_sz = 8192
  while True:
    buffer = u.read(block_sz)
    if not buffer:
      break

    file_size_dl += len(buffer)
    f.write(buffer)
  f.close()


def getFile(html):
    compile_rule=re.compile(r'<a.*?href=".+".*?>(.*).tar.bz2</a>')
    url_list=re.findall(compile_rule, html)
    str = r'.tar.bz2'
    for one in url_list:
         url =  "http://mirrors.ustc.edu.cn/gnome/desktop/2.91/2.91.2/sources/" +one+str
         print url 
         down_file(url)
         #print url_list
    return url_list
html = getHtml("http://mirrors.ustc.edu.cn/gnome/desktop/2.91/2.91.2/sources/")

print getFile(html)