本文档详细记录了使用Python爬虫抓取PyPDF2官方在线文档的过程，包括爬虫的逻辑关系划分、框架搭建以及在抓取过程中遇到的问题和解决办法。通过将爬虫分为spider_main、url_manager、html_downloader、html_parser和html_outputer五个模块，实现了自动化下载文档。最后提到由于缺少CSS文件导致页面显示格式问题，通过浏览器开发者工具找到并添加CSS文件到相应目录，成功修复了格式问题。
python 爬虫 爬取PyPDF2的官方在线文档
从学python开始就知道爬虫了，不过也仅限于知道。这段时间学习GNU Radio，官网的教程介绍都需要FQ才能看到，太麻烦。就起了用爬虫把所有网页全部下载的想法。这里的话，由于我这边没有FQ，就随便找了python的模块PyPDF2，爬了它的在线文档。把整个过程详细记录下。
第一步，确定逻辑关系
所谓爬虫，就是模拟人浏览网页行为的自动化程序。为了以后的爬取其他文档时方便修改，所以将整个爬虫分为5个模块。爬虫入口和主调度模块(spider_main)，url管理模块(url_manager)，html下载模块(html_downloader)，html分析模块(html_parser)和输出模块(html_outputer)。它们之间的通信逻辑如下：
最低0.47元/天 解锁文章
扫一扫
1176
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
