selenium 无界面chrome 界面足够大不需要下拉浏览器滚动条 && 智能等待

最新推荐文章于 2025-08-15 18:35:50 发布

原创最新推荐文章于 2025-08-15 18:35:50 发布 · 196 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#selenium

python 专栏收录该内容

9 篇文章

订阅专栏

本文介绍如何使用Selenium自动化浏览器操作，实现对无限滚动网页的底部抓取。通过设置浏览器窗口大小为极大值，确保所有内容加载，再利用智能等待定位特定元素，最后获取完整页面源代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

每次用selenium 碰到可以一直往下滑的就要一直滑
那有没有什么办法能直接滑到底呢
理论上是可以的
只需要让chrome 变得无限大想要多大就看自己了
理论可以非常非常非常大只要前端没做校验
等待这个BOX加载完成去拿page_sourse就好了
上代码

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait


def open_chrome():
    option = webdriver.ChromeOptions()  # 无界面Chrome
    option.add_argument('headless')
    dr = webdriver.Chrome(chrome_options=option)
    # 理论可以非常非常非常大 只要前端没做校验
    dr.set_window_size(2000, 50000)  # (width, height)
    return dr

print('-------------------------------------------------------')


# 智能等待  等id=cBox出现继续执行 等待10秒 0.5查看一次
WebDriverWait(dr, 10, 0.5).until(
       
        EC.visibility_of_element_located((By.XPATH,
                                          '//*[@id="cBox"]'))
    )