selenium点击爬取豆瓣高分电影

最新推荐文章于 2024-04-20 17:08:26 发布

DonQuixote_

最新推荐文章于 2024-04-20 17:08:26 发布

阅读量1.1k

点赞数 1

分类专栏：学以致用

本文链接：https://blog.youkuaiyun.com/DonQuixote_/article/details/84259631

版权

本文介绍如何利用selenium爬取动态加载的豆瓣高分电影页面。通过模拟点击加载更多按钮，抓取电影名称和热门评论。首先打开目标网页，然后定位并触发加载更多元素，最后设定爬取数据的限制条件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言：当爬虫爬取多页时，大部分网站都是有下一页，或者标记有总页数，这让我们可以通过查找下一页的标签获取下一页的内容，又或者得到总页数，直接for循环url遍历所有页的内容，这两种都可以得到你想爬取多页的信息。

那么碰到动态加载的网页，或者点击出现，又或者滑动滚动条加载数据，这种网页的话就需要用其他的方法找数据了

1 解析JSON（好用，难度较大）

2使用selenium 实现点击及滑动滚动条加载数据！

3 。。。。

这次我们使用selenium爬取豆瓣高评分电影，通过点击实现加载数据！

1，打开要爬取的网站

通过-->选电影-->豆瓣高分得到想要的网页

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

DonQuixote_

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

python 爬虫实战六：用 selenium 爬取豆瓣电影

weixin_43084570的博客

12-20

7209

今天帮朋友爬取豆瓣电影的数据，以便进行社交网络分析。首先打开豆瓣电影，然后点击分类，选择要爬取的特定电影这里以国产喜剧片为例：依次点击电影、喜剧、中国大陆然后点击一个小的列表按键找到我们要爬取的数据下拉到最底部，有一个加载更多点击会出现新的电影数据。说明这是一个动态网站，需要使用selenium来爬取。 selenium 是一个非常简单方便的库，用来模拟人进行上述操作。但是需要提前安装好这个库，而且需要安装火狐或者Chrome浏览器的geckodriver，具体的细节可以阅读官

selenium爬取豆瓣电影和电视剧

qq_55048096的博客

01-08

1293

selenium爬取豆瓣电影和电视剧

参与评论您还未登录，请先登录后发表或查看评论

爬虫笔记（七）——利用selenium对猫眼、豆瓣电影榜单的爬取

knight0113的博客

12-16

2356

利用网页自动化测试工具selenium爬取动态页面，可以实态页面动态信息无法爬取的问题。

爬取豆瓣高分电影

菜鸟变大鸟的博客

01-29

1357

用python爬取豆瓣高分电影 ——（来自b站up主的视频教程爬虫视频链接（因为原网站有变化，程序稍作修改，现在可以直接运行）提前需要安装 requests 和 beautifulsoup import requests import bs4 def open_url(url): #使用代理 proxies(计算机科学技术代理服务) # proxies={"http":...

【爬虫Practice2】爬取豆瓣高分电影

lily_i的博客

12-11

378

文章目录爬取豆瓣高分电影爬取过程可能存在的问题这一节是爬取豆瓣高分电影排行榜，具体参数可以改动，比如什么种类电影、年份等，观察一下request的参数就可以了。爬取豆瓣高分电影 import requests import json import re from fake_useragent import UserAgent if __name__ =="__main__": get_url = 'https://movie.douban.com/j/new_search_subjects

Python爬虫使用lxml模块爬取豆瓣读书排行榜并分析

04-18

1615

上次使用了BeautifulSoup库爬取电影排行榜，爬取相对来说有点麻烦，爬取的速度也较慢。本次使用的lxml库，我个人是最喜欢的，爬取的语法很简单，爬取速度也快。本次爬取的豆瓣书籍排行榜的首页地址是： https://www.douban.com/doulist/1264675/?start=0&sort=time&playable=0&sub_type= 该排...

数据采集与预处理之xpath爬取豆瓣电影新片榜信息（完整版）

m0_68467925的博客

04-02

1293

1、实现爬取数据的保存 2、实现对不同页面的爬取 3、xpath获取信息内容的多种方式 4、防止反爬机制

用jupyter notebook 爬取豆瓣电影类型为喜剧,地区为华语,年代2020年代,标签为动作,排序方式为高分优先的所有电影

最新发布

11-28

爬取豆瓣电影信息通常需要结合第三方库如requests、BeautifulSoup或更高级的Selenium等工具，以及豆瓣API（如果官方提供的话），然而，由于豆瓣的API访问策略，直接获取用户评级信息可能会受到限制。以下是使用...

2019-11-08豆瓣网电影区信息爬取与数据分析

qq_39488965的博客

11-08

2526

** 爬取豆瓣电影信息，分析近年电影行业的发展情况 ** 好奇心爆棚的电影爱好者平常的休闲娱乐中，肯定少不了看电影，每次想找找电影看的时候，都会到各大电影评分网站去搜高分、好评、热门的电影，防止自己踩坑，浪费时间、精力去熬一部烂片。电影评分较权威的豆瓣网是我日常求助的地方，出于对电影的热爱和对电影行业的发展状况和趋势，今天就尝试着通过爬虫爬取豆瓣网的电影数据，来分析一下不同的发展趋势。爬虫过程...

selenium爬取豆瓣

y15518325965的博客

03-01

531

#coding:utf-8 #__author__='wang' import time from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait url = 'https://movie.douban.com/' #获取电影详情地址以及电影的名称 def get_datai...

豆瓣高分电影爬取项目，思路清晰，易上手代码

10-25

豆瓣高分电影爬取项目，思路清晰，易上手

【爬虫】使用selenium深度爬取豆瓣网

weixin_49184448的博客

11-24

721

举例使用selenium深度爬取豆瓣同城北京最近一周的音乐会活动

爬虫爬取豆瓣高分电影信息

weixin_30342827的博客

06-17

1413

主要对豆瓣高分电影，按热度排序进行电影信息的爬取分析按F12打开开发者工具，点击XHR标签，因为他是通过ajax加载获取更多的电影信息的。返回的信息是json格式的数据，包含了每部电影详情的链接信息，先获取这些信息页码每次最后的 page_start参数加20可以换到下一页下面是详细代码 import re, requests import jso...

爬虫--selenium爬取带验证码的豆瓣网

MR_HJY的博客

08-21

568

from selenium import webdriver import time import requests from lxml import etree import base64 # 操作浏览器 driver = webdriver.Chrome() url = 'https://accounts.douban.com/login?alias=&redir=https%3A...

Python自定义豆瓣电影种类，排行，点评的爬取与存储（进阶上）

MrLevo520的博客

07-22

5347

Python 2.7 IDE Pycharm 5.0.3具体Selenium及PhantomJS请看Python+Selenium+PIL+Tesseract真正自动识别验证码进行一键登录一些自动化应用实例请看Selenium+PhantomJS自动续借图书馆书籍至于GUI的入门使用请看Python基于Tkinter的二输入规则器(乞丐版) 比较综合的GUI例子请看基于Python的参考

【Python爬虫】使用selenium模块模拟浏览器行为爬取豆瓣电影top250

chibuqikendeji的博客

08-03

1629

使用selenium模块模拟浏览器行为访问豆瓣电影top250页面，然后爬取第一页内容之后，模拟点击下一页，从而获取接下来的网页的html代码，并且进行内容筛选。筛选出排名，名字，播放地址，导演和主演，评价数，评分和电影简介。具体实现代码如下(代码中有注释，就不一一拆分解释了)： from bs4 import BeautifulSoup from selenium import webdri...

selenium爬取豆瓣电影top250

weixin_30606669的博客

06-18

831

爬取豆瓣电影排行榜（评分）

weixin_42966187的博客

09-28

6288

代码如下 import requests import xlwt import time excel1 = xlwt.Workbook() sheet1 = excel1.add_sheet('豆瓣', cell_overwrite_ok=True) sheet1.write(0, 0, '电影名称') sheet1.write(0, 1, '地区/国家') sheet1.write(0, 2,...

[爬虫]爬取豆瓣任意电影的

samotako的博客

04-20

204

最近好像上映了不少电影，而且我好久没看过豆瓣了，这里给大家分享一个爬取豆瓣评论的selenium脚本。3、用xpath语句定位想要爬取的数据，这里就爬了评论数据来做lda等后续的数据分析。这里大家注意，虽然全部写着有10万多条，其实豆瓣电影里只显示前600条。2、用edge浏览器打开相关电影评论网页。1、先将selenium的相关包导进来。

用selenium爬取豆瓣电影

05-29

好的，以下是使用 Python 语言和 Selenium 库爬取豆瓣电影 Top250 的示例代码： ```python from selenium import webdriver from bs4 import BeautifulSoup url = 'https://movie.douban.com/top250' driver = ...