Python爬虫基础教程（100）Pyspider实战：电影下载之项目分析：Python爬虫神器Pyspider实战！手把手教你爬取海量电影下载资源

一键解锁全网电影资源，编程小白也能轻松上手

1. 爬虫框架选择：为什么是Pyspider？

在众多Python爬虫框架中，Scrapy和Pyspider无疑是最受欢迎的两个。但为什么我推荐Pyspider给初学者甚至中级开发者？简单来说——它真的太友好了！

Pyspider是由国人binux编写的强大的网络爬虫系统，带有强大的WebUI界面。想象一下，不用在命令行黑乎乎的窗口里调试爬虫，而是在一个清晰的网页界面中编写脚本、监控任务进度、查看爬取结果，这体验简直不要太爽！

具体来说，Pyspider有几大杀手级特性：

• 全可视化操作：WebUI界面让爬虫管理变得直观，你可以在浏览器中直接编写、调试和执行脚本
• JavaScript支持：内置PhantomJS支持，可以处理复杂的JS渲染页面，这对很多现代网站至关重要
• 强大的调度能力：支持超时重爬、优先级设置、定时任务等
• 数据存储灵活：支持MySQL、MongoDB、Redis、SQLite等多种数据库后端

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2018-11-29 15:50:57
# Project: DBDY_01

from pyspider.libs.base_handler import *
import os

上面是一个典型的Pyspider脚本开头

2. 环境搭建：轻松搞定安装

2.1 安装Pyspider

安装Pyspider非常简单，只需要一条命令：

pip3 install pyspider

安装完成后，在命令行启动：

pyspider all

这时控制台会输出一些启动信息，表明Pyspider的Web服务已经在本地5000端口运行。打开浏览器，访问http://localhost:5000/，就能看到Pyspider的WebUI管理页面。

2.2 解决安装中的常见问题

如果你是Windows用户，可能会遇到PyCurl安装错误的问题。别慌，这是常见问题。只需要从http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到对应的Python版本的PyCurl库，下载相应的wheel文件安装即可。

例如，对于Windows 64位、Python 3.6，下载pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl，然后使用pip安装：

pip3 install pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl

另外，Pyspider依赖于PhantomJS来处理JavaScript渲染的页面，所以你还需要安装PhantomJS。从官网下载并解压后，将phantomjs.exe放在Python安装路径下的Scripts目录中即可。

3. 项目分析：电影网站爬取实战

3.1 目标分析

我们以电影下载网站http://www.ygdy8.com为例，目标是爬取所有欧美电影的下载地址。

首先进行项目分析：打开网站，点击"欧美