爬取猫眼 TOP100 电影并以 excel 格式存储

爬取目标

本文将提取猫眼电影 TOP100 排行榜的电影名称、时间、评分、图片等信息，URL 为http://maoyan.com/board/4，提取的结果我们以 excel 格式保存下来。

准备工作

保证电脑安装了 python3.6 和已经安装好了 requests 库、beautifulsoup 库和 openpyxl 库。
前期安装步骤可以参考：https://germey.gitbooks.io/python3webspider/1-%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AE.html

爬取分析

打开http://maoyan.com/board/4我们会发现榜单主要显示 4 个数据：电影名、主演、上映时间和评分。
如图所示：

网页下滑到最下方可以发现有分页的列表，我们点击一下第二页会发现页面的 URL 变成了http://maoyan.com/board/4?offset=10，比之前的页面多了一个 offset=10 的参数，而且页面显示的是排行 11-20 名的电影。

由此我们可以总结出规律，offset 代表了一个偏移量值，如果偏移量为 n，则显示的电影序号就是 n+1 到 n+10，每页显示 10 个。所以我们如果想获取 TOP100 电影，只需要分开请求 10 次，而 10 次的 offset 参数设置为 0，10，20，…，90 即可，这样我们获取不同的页面结果之后再用正则表达式提取出相关信息就可以得到 TOP100 的所有电影信息了。

抓取首页

import requests

def get_one_page(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    return None

def main():
    url = 'http://maoyan.com/board/4'
    html = get_one_page(url)
    print(html)

main()

这样我们就可以获取首页的源代码了，获取源代码之后我们要对页面进行解析，提取出我们想要的信息。

使用 BeautifulSoup 进行提取

接下来我们回到网页看一下页面的真实源码，在开发者工具中 Network 监听（建议使用谷歌浏览器，按 F12 即可查看网页信息），然后查看一下源代码。如图所示：