PySpider爬虫框架折腾体验

最新推荐文章于 2025-06-19 17:18:40 发布

dabpop139

最新推荐文章于 2025-06-19 17:18:40 发布

阅读量1.6w

点赞数

CC 4.0 BY-SA版权

分类专栏：进阶 Python 文章标签：爬虫 PySpider爬虫 python

本文链接：https://blog.youkuaiyun.com/dabpop139/article/details/51167149

本文记录了作者在Windows环境下安装和使用PySpider爬虫框架的详细过程，包括遇到的SSL证书问题、HTTP 599错误以及解决办法。通过手动更新PySpider到最新版本并解决依赖问题，最终成功运行PySpider。文章适合对Python爬虫感兴趣的初学者参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

PySpider爬虫框架折腾体验

@(进阶)[PySpider,PySpider使用,PySpider体验]

最近在看爬虫类的Python文章，了解到了PySpider这个强大的爬虫框架，就想也体验一番，这次折腾的过程可以说极其曲折、峰回路转，感觉还是有必要写下来和大家分享，同时也表示对我在折腾过程中看到的精彩文章表示感谢。过程中我了解到了PySpider爬虫框架是位牛叉的国人开发的（好吧好多人也不太关心是谁开发的只管用），这个爬虫框架的用法网上也很多，我也是边看文章边折腾的。为什么说是折腾呢，因为还是那句话“开源项目无不折腾”，废话不多说开始正题。

首先还是要说点不是废话的话，要不然会让你有N多个为什么的，PySpider框架支持JS渲染抓取，支持PyQuery选择HTML，下面是它的一个简介：

PySpider 的主要特性
- Python 脚本控制，可以用任何你喜欢的html解析包（内置 PyQuery）
- WEB 界面编写调试脚本，起停脚本，监控执行状态，查看活动历史，获取结果产出
- 支持 MySQL, MongoDB, SQLite
- 支持抓取 JavaScript 的页面
- 组件可替换，支持单机/分布式部署，支持 Docker 部署
- 强大的调度控制
PySpider作者博客：http://blog.binux.me/

一看这些支持的功能，那就知道是用了不少基础库的。
我的系统环境：Win7，Python2.7（友情提示建议把文章看完了再动手操作）。
首先第一部安装PySpider：
我是一直都用的easy_install来安装的，安装命令很简单：