10分钟用Python爬取TOP100的电影

1.确定爬取目标

提取出猫眼电影TOP100的电影名称、时间、评分、图片等信息，提取的URL为：http://maoyan.com/board/4，提取的结果以文件形式保存下来。

2.前期准备

本项目需要用到requests库，请确保已经正确安装好了requests库，如果没有安装，可以用pip指令进行安装，非常简单，这里就不再详细叙述了。

打开URL后，可以看到排名第一的是「霸王别姬」，可以看到页面显示的有效信息有电影名字、主演、上映时间、上映地区、评分、图片等信息。

3.“种子”的分析，生成爬虫入口

现在需要确定正则表达式，在谷歌浏览器，打开开发者选项（F12），查看其中的一个条目的源代码，如图所示。

首先，我们先提取它的排名信息，它的排名信息是class为board-index的i节点内，这里利用非贪婪匹配来提取i节点内的信息，正则表达式如下：

<dd>.*?board-index.*?>(