利用爬虫技术爬取Csdn博文并且保存为html和pdf格式

728会飞的鱼911

已于 2023-05-28 16:59:11 修改

阅读量784

点赞数 1

文章标签： pdf python 爬虫 html

于 2023-05-28 16:53:24 首次发布

本文链接：https://blog.youkuaiyun.com/qq_66706247/article/details/130914408

版权

该代码实现了一个优快云博客的爬虫，用于下载指定作者的文章并将其转换为PDF格式。程序首先安装必要的Python包，如lxml、requests和pdfkit，然后通过输入账号ID获取文章列表。每篇文章的HTML内容被提取并保存为HTML文件，随后转换成PDF。爬虫在抓取过程中模拟浏览器行为，防止被网站屏蔽，并在每次请求之间加入随机延迟。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

事先需要准备的库和包文件：

其中的lxml,requests,pdfkit包可以使用命令：

conda install lxml
conda install requests
conda install pdfkit#用来转化为pdf格式，还需要下载wkhtmltox安装包，并且添加到环境变量中

author_name = input("请输入账号ID：")
Max_page_num = 100#最大页码数
i = 1

sess = requests.Session()
agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) 
Chrome/93.0.4542.2 Safari/537.36'#浏览器代理
sess.headers['User-Agent'] = agent

def crawler_blog_by(author_name,article_id,title):
    article_request_url = f"https://blog.youkuaiyun.com/{author_name}/article/details/{article_id}"
    response = sess.get(article_request_url)

    selector = etree.HTML(response.t