selenium爬取动态渲染吗？？

最新推荐文章于 2025-01-11 19:42:26 发布

『小桂子』

最新推荐文章于 2025-01-11 19:42:26 发布

阅读量261

点赞数 1

分类专栏：爬虫

本文链接：https://blog.youkuaiyun.com/weixin_44463474/article/details/87883266

版权

爬虫专栏收录该内容

1 篇文章

订阅专栏

本文介绍使用Selenium进行动态网页爬虫的方法，包括安装Selenium和ChromeDriver，配置ChromeDriver路径，以及如何模拟浏览器操作来爬取动态加载的内容。文章还提供了突破网站对Selenium屏蔽的策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬? 使?Selenium爬取动态渲染??

模拟浏览器操作爬取??

安装Selenium
pip3 install selenium
安装ChromeDriver
ChromeDriver与Chrome对照表
ChromeDriver v2.41 (2018-07-27)—————Supports Chrome v67-69
ChromeDriver v2.40 (2018-06-07)----------Supports Chrome v66-68
ChromeDriver v2.39 (2018-05-30)----------Supports Chrome v66-68
ChromeDriver v2.38 (2018-04-17)----------Supports Chrome v65-67
ChromeDriver v2.37 (2018-03-16)----------Supports Chrome v64-66
ChromeDriver v2.36 (2018-03-02)----------Supports Chrome v63-65
ChromeDriver Mirror

将chromdriver.exe ?件放到Python Scripts?录下或配置PATH路径

命令?执?chromedriver

from selenium import webdriver
brower = webdriver.Chrome()

selenium.webdriver.common.by.By
CLASS_NAME = 'class name'
CSS_SELECTOR = 'css selector'
ID = 'id'
LINK_TEXT = 'link text'
NAME = 'name'
PARTIAL_LINK_TEXT = 'partial link text'
TAG_NAME = 'tag name'
XPATH = 'xpath'

selenium 被反爬?识别

isWebdriver:function(){return!!navigator.webdriver}

如何突破?站对selenium的屏蔽_鲲鹏Web数据抓取 - 专业Web数据采集服务提供商

*ActionChains?法 *
click(on_element=None) ——单击鼠标左键
click_and_hold(on_element=None) ——点击鼠标左键，不松开
context_click(on_element=None) ——点击鼠标右键
double_click(on_element=None) ——双击鼠标左键
drag_and_drop(source, target) ——拖拽到某个元素然后松开
drag_and_drop_by_offset(source, xoffset, yoffset) ——拖拽到某个坐标然后松开
key_down(value, element=None) ——按下某个键盘上的键
key_up(value, element=None) ——松开某个键
move_by_offset(xoffset, yoffset) ——鼠标从当前位置移动到某个坐标
move_to_element(to_element) ——鼠标移动到某个元素
move_to_element_with_offset(to_element, xoffset, yoffset) ——移动到距某个元素（左上?坐
标）多少距离的位置
perform() ——执?链中的所有动作
release(on_element=None) ——在某个元素位置松开鼠标左键
send_keys(*keys_to_send) ——发送某个键到当前焦点的元素
send_keys_to_element(element, *keys_to_send) ——发送某个键到指定元素