用Python 爬虫批量下载PDF文档

最新推荐文章于 2025-07-18 16:27:43 发布

lxy孙悟空

最新推荐文章于 2025-07-18 16:27:43 发布

阅读量6.4w

点赞数 20

CC 4.0 BY-SA版权

分类专栏： Python编程文章标签： python 爬虫 pdf 文档

本文链接：https://blog.youkuaiyun.com/u012705410/article/details/47708031

本文介绍如何使用Python爬虫批量下载PDF文档，通过分析网页源代码获取实际PDF链接，实现自动化下载。示例包括从不同类型的网页结构中提取PDF地址并下载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

更新：之前代码是用 python2 写的，有关 python3 的代码可以参考这位博主的：https://blog.youkuaiyun.com/baidu_28479651/article/details/76158051

代码如下：

# coding = UTF-8
# 爬取李东风PDF文档,网址：http://www.math.pku.edu.cn/teachers/lidf/docs/textrick/index.htm

import urllib.request
import re
import os

# open the url and read
def getHtml(url):
    page = urllib.request.urlopen(url)
    html = page.read()
    page.close()
    return html

# compile the regular expressions and find
# all stuff we need
def getUrl(html):
    reg = r'(?:href|HREF)="?((?:http://)?.+?\.pdf)'
    url_re = re.compile(reg)
    url_lst = url_re.findall(html.decode('gb2312'))
    return(url_lst)

def getFile(url):
    file_name = url.split('/')[-1]
    u = urllib.request.urlopen(url)
    f