[爬虫]Python+Selenium 爬取京东商城，翻页功能实现

最新推荐文章于 2025-06-24 10:59:03 发布

原创

最新推荐文章于 2025-06-24 10:59:03 发布 · 4.6k 阅读

25 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #翻页 #python #selenium

在使用Python Selenium爬取京东商城时遇到翻页功能问题，由于页面动态加载导致元素失效。分析发现每页由两个page组成，页面滚动会触发新的加载。解决方案是等待页面加载后，通过JavaScript滚动至底部加载完整页面，再执行后续操作。

问题描述

最近学习爬虫，爬京东页面做翻页功能时遇到了问题
我的初始想法是这样的：
这个是京东的转页模块
在这里插入图片描述

修改页码输入的文本框，填入要跳转到页数
点击“确定”按钮，实现跳转

代码如下：

def next_page(page_number):
    try:
        # 获取页码文本框
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, '#J_bottomPage > span.p-skip > input'))
        )
        # 获取“确认”按钮
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR