本文介绍了如何使用Python爬虫爬取猫眼电影Top100的详细步骤，包括分析URL规律，请求网页，正则表达式提取信息，以及分页爬取和数据存储。通过编写get_one_page()、parse_one_page()和write_to_file()函数，实现了从获取网页内容到解析数据并存储到文件的完整流程。
Python爬虫——爬取 猫眼电影Top100
一、分析url
首先，打开目标站点https://maoyan.com/board/4，打开之后便看到榜单信息：
排名第一的电影是霸王别姬，页面中可以看到的信息有电影名称，主演，上映时间，电影封面，评分，排名等。
页面最下面有分页列表，切换到第2页，看看url发生了哪些变化。
可以看到第2页的url为https://maoyan.com/board/4?offset=10，url与第1页相比发生了些变化。再分别把第3页和第4页的url拿来比较一下。
第1页：https://maoyan.com/board/4
第2页：https://maoyan.com/board/4?offset=10
第3页：https://maoyan.com/board/4?offset=20
第4页：https://maoyan.com/board/4?offset=30
貌似发现了一些规律，将第1页改为https://maoyan.com/board/4?offset=
最低0.47元/天 解锁文章
扫一扫
613
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
