爬取猫眼 TOP100 电影并以 excel 格式存储

最新推荐文章于 2021-11-25 20:58:20 发布

原创

最新推荐文章于 2021-11-25 20:58:20 发布 · 3.1k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

爬取目标

本文将提取猫眼电影 TOP100 排行榜的电影名称、时间、评分、图片等信息，URL 为http://maoyan.com/board/4，提取的结果我们以 excel 格式保存下来。

准备工作

保证电脑安装了 python3.6 和已经安装好了 requests 库、beautifulsoup 库和 openpyxl 库。
前期安装步骤可以参考：https://germey.gitbooks.io/python3webspider/1-%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AE.html

爬取分析

打开http://maoyan.com/board/4我们会发现榜单主要显示 4 个数据：电影名、主演、上映时间和评分。
如图所示：

网页下滑到最下方可以发现有分页的列表，我们点击一下第二页会发现页面的 URL 变成了http://maoyan.com/board/4?offset=10，比之前的页面多了一个 offset=10 的参数，而且页面显示的是排行 11-20 名的电影。

由此我们可以总结出规律，offset 代表了一个偏移量值，如果偏移量为 n，则显示的电影序号就是 n+1 到 n+10，每页显示 10 个。所以我们如果想获取 TOP100 电影，只需要分开请求 10 次，而 10 次的 offset 参数设置为 0，10，20，…，90 即可，这样我们获取不同的页面结果之后再用正则表达式提取出相关信息就可以得到 TOP100 的所有电影信息了。

抓取首页

import requests

def get_one_page(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    return None

def main():
    url = 'http://maoyan.com/board/4'
    html = get_one_page(url)
    print(html)

main()