python爬取动态网页selenium

最新推荐文章于 2025-02-26 09:17:17 发布

秦艽

最新推荐文章于 2025-02-26 09:17:17 发布

阅读量280

点赞数

分类专栏： install python 文章标签： python selenium html css edge

本文链接：https://blog.youkuaiyun.com/qq_40279151/article/details/106319024

版权

install 同时被 2 个专栏收录

10 篇文章

订阅专栏

python

5 篇文章

订阅专栏

本文介绍如何使用Selenium库和Edge浏览器驱动爬取PTA网站的题目信息。通过初始化浏览器驱动，加载目标网址，休眠一段时间等待页面加载完成，然后使用CSS选择器定位并打印出指定元素的文本内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装selenium

安装浏览器驱动

https://www.cnblogs.com/wenchaoz/p/7875365.html

代码

比如爬取PTA网页题目

写上自己浏览器驱动的位置
找到的是WebElement对象，并不是html

import time
from selenium import webdriver

url = "https://pintia.cn/problem-sets/994805260223102976/problems/type/7"

# init browser
driver = webdriver.Edge(r'E:\VirtualDesktop\code\pyCode\msedgedriver.exe')
driver.get(url)
time.sleep(3)

# get data
html = driver.find_element_by_css_selector("div.DataTableContainer_3cQiI > table > tbody > tr:nth-child(1) > td:nth-child(3)")
print(type(html)) 
print(html.text)