本文介绍如何使用Python爬虫抓取豆瓣电影的剧情类电影数据。通过分析‘加载更多’的URL变化，发现每次点击会更新start参数，从而实现逐页抓取。已编写代码实现抓取并存储为CSV文件。
全部代码以及分析见GitHub：https://github.com/dta0502/douban-movie
我突然想看下有什么电影可以看。由于我偏爱剧情类电影，因此我用Python爬虫来爬取剧情类型的电影。
一、单个页面分析及爬取
1、页面分析
首先选择想要看的分类，如下图所示：
通过chrome的“检查”观察发现真实的URL为
https://movie.douban.com/j/new_search_subjects?sort=S&range=0,10&tags=%E7%94%B5%E8%A7%86%E5%89%A7&start=0&genres=%E5%89%A7%E6%83%85&countries=%E7
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
