python selenium控制滚动条(滚动加载处理)

本文介绍了解决网页table数据加载不完全的问题,通过两种方法实现数据的完整加载:一是使用JavaScript直接移至页面底部;二是通过模拟键盘翻页操作,适用于小窗口无法直接滚动的情况。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

序言

当遇到有些网页table数据读取不全,只有拉动滚动条加会加载数据时,这个时候如果要模拟翻页的时候就必须加载出全部的内容,不然定位元素会找不到,出现报错

实测试两个验证可以用的方法

第一种方法

使用比较简单

# 直接移至底部
js = "window.scrollTo(0,document.body.scrollHeight)"
# 回到顶部
js = "window.scrollTo(document.body.scrollHeight, 0)"
# 就是这么简单,修改这个元素的scrollTop就可以
web.execute_script(js)

第二种方法

因为有些小窗口无法使用第一种方法实现时,可模拟选择小窗口内后,再使用翻页键帮助实现获取需要的数据

# 设置高度变量
height = 0
while True:
    table = web.find_element_by_xpath('//*[@id="HotTable"]/div[1]/div/div/div/table')
    rows = table.find_elements_by_tag_name('tr')
    # 对高度进行对比,等于高度变量时,退出循环
    if len(rows) == height:
        break
    else:
        # 高度变量小于获取高度时,重新定位高度
        height = len(rows)
        # 模拟键盘 PgDn进行翻页
        ActionChains(web).send_keys(Keys.PAGE_DOWN).perform()
        time.sleep(0.5)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值