python爬虫下载网站所有文件

最新推荐文章于 2025-07-09 07:50:02 发布

qq_19408603

最新推荐文章于 2025-07-09 07:50:02 发布

阅读量8.6k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/qq_19408603/article/details/77413914

python 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一种利用Python和正则表达式抓取并下载指定网站上所有资源的方法。通过递归方式遍历网站链接，实现对目标站点内文件的全面下载。适用于对特定网站内容进行批量获取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

核心思路是使用正则表达式对网页的html5中的路径名和文件名进行抓取，

然后对路径继续进行同样的抓取，用递归的方式进行搜索。最后把网站上的内容文件全部下载下来

import urllib

import sys
import BeautifulSoup
import re
import os

path = []

def extract(url):
    content = urllib.urlopen(url).read()
    #reg = r'(?:href|HREF)="?((?:http://)?.+?\.txt)'
    reg = r'<a href="(.*)">.*'
    url_re = re.compile(reg)
    url_lst = re.findall(url_re, content)

    for lst in url_lst:
        ext = lst.split('.')[-1]

        if ext[-1] == '/':
           newUrl = url + lst
           extract(newUrl)
        else:
            path.append(url + lst)


print "downloading with urllib"
url = 'http://139.196.233.65/js/'
extract(url)

filePath = 'E:/6-学习文档/91-JS/Download/js'
filePath = unicode(filePath, 'utf8')

for p in path:
    fileTitle = p.split('/js')[-1]
    file = filePath + fileTitle
    dir = os.path.dirname(file)
    isExists=os.path.exists(dir)

    if isExists == False:
        os.makedirs(dir)
    urllib.urlretrieve(p, file)

#for lst in url_lst:
#    file = filePath + lst
#    lst = url + '/' + lst
#    urllib.urlretrieve(lst, file)