[爬虫]Python+Selenium 爬取京东商城，翻页功能实现

最新推荐文章于 2025-06-24 10:59:03 发布
原创 最新推荐文章于 2025-06-24 10:59:03 发布 · 4.6k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#爬虫 #翻页 #python #selenium

在使用Python Selenium爬取京东商城时遇到翻页功能问题，由于页面动态加载导致元素失效。分析发现每页由两个page组成，页面滚动会触发新的加载。解决方案是等待页面加载后，通过JavaScript滚动至底部加载完整页面，再执行后续操作。

问题描述

最近学习爬虫，爬京东页面做翻页功能时遇到了问题
我的初始想法是这样的：
这个是京东的转页模块
在这里插入图片描述

  1. 修改页码输入的文本框，填入要跳转到页数
  2. 点击“确定”按钮，实现跳转

代码如下：

def next_page(page_number):
    try:
        # 获取页码文本框
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, '#J_bottomPage > span.p-skip > input'))
        )
        # 获取“确认”按钮
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR
最低0.47元/天 解锁文章
爬虫爬取京东商品评论（第一页）
weixin_45228758的博客
12-09 1229
知识点：网页分析，使用JSON提取页面内容。 网页分析 打开京东，并搜索进入需要爬取评论的页面。 通过源代码可以发现数据在JSON之中。 Response字典部分即为JSON格式。 删除fetchJSON_comment98()，通过json.cn解析。 所以需要爬取的内容，直接从JSON里面提取即可。 代码实现（爬取第一页） import requests url = 'https://club.jd.com/comment/productPageComments.action?callback=
Python爬虫—爬取京东商品信息（自动登录，换关键词，换页）
qq_45657504的博客
05-29 8054
目录前言一、需要的Python库安装1.设置默认pip默认安装路径2.下载浏览器驱动（以chrome为例）二、使用步骤（代码以函数为单位分开展示）1.引入库2.设置关键词和浏览器设置3.定义获取密码函数4.定义获取图片信息，返回最佳匹配位置函数5.定义滑动函数6.定义实现登录函数7.定义文件保存函数8.定义爬取函数9.定义首次运行函数10.定义继续运行函数11.定义主函数三、代码整体展示总结 前言 最近需要些简单的商品数据信息，听说淘宝反爬虫反的厉害，自己Python学习花的时间少，人菜的抠脚，就打起了
python翻页爬取京东商品评价
coffeetogether的博客
03-02 1492
python翻页爬取京东商品评价 以小米手机评论为案例 1.找到目标的url 2.检查响应结果 3.解析json数据，发现相应数据无法成功解析 注意：json数据一般都是以大括号或中括号开头或者结尾的。这里我们发现，响应的json数据是有干扰信息的。我们需要将这些干扰信息去除，然后才能进行在线解析。（而我们在程序中可以通过正则实现将干扰信息去除） 解析结果如下： 由上图，我们可以得到目标数据的jsonpath语法 4.最后对比前三页的url，找到翻页的规律: https://club.jd.com/
python爬取商品评论_python爬取京东评论(一)
weixin_39713578的博客
11-21 648
点击——>要爬取网址作为一个爬虫小白解决问题是十分蛋疼的(Φ皿Φ)，就这几行代码，我折磨了一下午，然后我发现，学习代码最大的难题是学习资源获取的途径并不是代码本身，只要学，任何人都能学会1.先到达页面打开开发者模式(F12)，点击商品评论，我们随便的复制一些字，去源码里搜搜发现没有这句话，就知道是动态页面了，该去找json文件了开发者选项2.我们进入Network,去filter里面打commen...
小白python爬虫入门实例2—— 翻页爬取京东商城商品数据
m0_47105676的博客
10-07 5991
import requests from bs4 import BeautifulSoup def getText(url): try: kv = {'user-agent': 'Mozilla/5.0'} r = requests.get(url, headers=kv,timeout = 30) r.raise_for_status() r.encoding = r.apparent_encoding retur.
python爬虫——用selenium爬取京东商品信息
心之所向的博客
05-10 7377
python爬虫——用selenium爬取京东商品信息 1.先附上效果图（我偷懒只爬了4页） 2.京东的网址https://www.jd.com/ 3.我这里是不加载图片，加快爬取速度，也可以用Headless无弹窗模式 options = webdriver.ChromeOptions() options.add_experimental_option('prefs', {'profile....
Python网络爬虫-使用Selenium爬取京东商品
徐先森的博客
08-04 1802
Python网络爬虫-模拟Ajax请求抓取微博中我们了解了Ajax的分析和抓取的方式，但是有很多的网站即使是Ajax来获取的数据，但是其Ajax接口含有很多加密参数，我们很难找出其中的规律，也就很难直接使用Ajax来抓取。 为了解决这些问题，我们可以直接使用模拟浏览器运行的方式来实现，这样就可以做到在浏览器中看到是什么样，抓取的源码就是什么样，也就是可见即可爬。这样我们就不用再去管网页内部的Ja...
爬虫案例5：python爬取京东商品数据
最新发布
电商数据Girl的博客
06-24 1295
现这个搜索框的id=key，因此，先清理元素默认的搜索产品，然后填写搜索商品手机，模拟相关动作的代码如下： 1 2 3  from selenium import webdriver
基于python和selenium爬取JD商城商品信息并且分析用户对于产品的满意程度
haohulala的博客
04-18 1245
我把整个代码都托管在github上了，那里面有详细的api说明文档 https://github.com/hao297531173/JDCommentSpider/tree/master PS：获取的数据仅供学习交流使用 那么我们就开始吧 没图说个球，先来看一下最后的分析得到的图表 评论关键词词云 PS:由于网络不好和穷，所以这个用户满意度的数据量很小，不代表真实的用户...
selenium爬取京东商品信息_使用selenium爬取京东商品评论
weixin_28224217的博客
01-25 1189
前言我们在爬取网页时经常会遇到动态渲染页面，对于普通的Ajax，可以利用requests和urllib来实现数据爬取，但是javascript不止ajax一种，其规律有时很难发现，这一过程也会浪费很多时间。而selenium可以模拟浏览器执行特定的动作，这样就不用在乎javascript是如何渲染页面了。本次的实验对象是京东商品的评论，网址如下：【ThinkPad】联想ThinkPad E580 ...
selnium模块实现自动翻页并爬取商品信息
10-27
采用python3.6开发，使用前请安装selenium模块，cmd下pip install selenium beautifulsoup4 模块，cmd下pip install beautifulsoup4 实现淘宝自动翻页，并爬取商品信息
python爬虫框架scrapy实战之爬取京东商城进阶篇
09-21
主要给大家介绍了利用python爬虫框架scrapy爬取京东商城的相关资料，文中给出了详细的代码介绍供大家参考学习，并在文末给出了完整的代码，需要的朋友们可以参考学习，下面来一起看看吧。
scrapy京东翻页爬取
weixin_45026839的博客
04-26 860
获取下一页的链接 如果下一页有值，就发送下一页的请求，没有就什么都不做 # 只爬取 前5页 self.page += 1 if self.page > 4: return # 列表翻页 # 1. 取出 下一页 标签 的 URL 网址不齐全 next_url ...
selenium翻页获取京东图书名称和价格
coffeetogether的博客
02-25 987
selenium翻页获取京东图书名称和价格 案例目的： 通过selenium翻页爬取京东图书名称和价格，介绍如何通过selenium模拟鼠标滑轮，点击，翻页等操作。 案例功能： 输入要爬取的页数，批量下载每一页数图书的名称和价格，并保存到本地。 案例分析： 1.找到目标页面的url（我们以中国当代小说为例） 2.通过模拟滚轮实现异步加载： 注：每一页共有60本书，但是：如果没有手动通过滑轮获取剩下的30个数据，通过xpath页只能获取30个，这就是我们为什么要模拟鼠标滑轮的原因。 当我们把滑轮滑倒最底部
selenium使用_使用selenium爬取京东商品评论
weixin_39597262的博客
12-08 474
前言我们在爬取网页时经常会遇到动态渲染页面，对于普通的Ajax，可以利用requests和urllib来实现数据爬取，但是javascript不止ajax一种，其规律有时很难发现，这一过程也会浪费很多时间。而selenium可以模拟浏览器执行特定的动作，这样就不用在乎javascript是如何渲染页面了。本次的实验对象是京东商品的评论，网址如下：【ThinkPad】联想ThinkPad E580 ...
爬虫项目五：最详细的京东商品、评价爬虫、词云展示
热门推荐
weixin_47163937的博客
03-20 1万+
文章目录前言一、京东商品信息爬虫1.分析URL2.实例化chrome3.加载完整数据4.实现翻页5.解析数据二、京东商品评价爬虫1.找到接口2.分析url3.解析数据4.词云 前言 本文内容包含京东商品列表爬虫的详细教程以及商品评价数据的详细教程 提示：以下是本篇文章正文内容，下面案例可供参考 一、京东商品信息爬虫 我们要知道京东商品页的数据有一半是通过动态加载出现的，一页60条数据 一半是动态加载，也就是说我们如果单纯的用requests访问url的话只能拿到一半的数据，那另一半的数据拿到有两种方法.
Selenium 爬取京东商品信息并分页保存
羊城迷鹿的博客
04-19 1117
文章目录引入包按url获取页面信息模拟点击获取页面信息分析页面信息查询函数 引入包 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support imp...
python爬虫-京东商品详情爬取
King_liyueqiao的博客
08-31 5799
python爬虫-京东商品详情爬取 最近因需求需要，需要到京东爬取一些类别的商品信息。记录下过程中踩过的坑，最后奉献上全部代码。仅供互相学习，如有错误请指正~~ 京东网页翻页。 京东的页面是打开时先加载前30个商品，浏览到下面时再加载另30个商品。加载前30个商品时 page=1，后30个商品时 page=2。所以京东的翻页可以用request库直接 page+1翻页，也可以使用selenium库滚轮操作到最后全部加载完成后以page = 2n-1的方式翻页。 获取商品详情页的价格及评论 从以上代码获取到
python 京东页码 翻页参数生成方法
misaiya2008的博客
11-16 883
""" 生成京东产品列表，翻页链接页码参数。 翻页链接里面有 &page=199&s=5941&click=0 这个参数 需要根据实际页码，生成符合系统规律的参数 """ n = -1 m = 1 for i in range(100): n += 2 if i == 0: m = 1 elif 0 < i < 8: m = 56 + 60 * (i - 1) else: m = 48.
selenium爬取京东商城网站数据（解析HTML网页代码，爬取网页数据，实现网页翻页，编写爬虫程序，执行爬虫程序）
12-25
Selenium是一个强大的自动化测试工具，但也可以用于网络爬虫，特别是在需要模拟用户交互或者处理动态加载内容的场景中。要爬取京东商城的数据，你需要按照以下步骤操作： 1. **安装Selenium**：首先在Python环境中安装selenium库以及对应的浏览器驱动（如ChromeDriver），通过pip命令： ``` pip install selenium ``` 2. **导入所需模块**： ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC ``` 3. **创建浏览器实例**： ```python driver = webdriver.Chrome() # 或者换成Firefox等其他浏览器 ``` 4. **打开京东页面**： ```python driver.get('https://www.jdx.com/') ``` 5. **解析HTML**： 使用`driver.page_source`获取当前页面源码，然后可以使用BeautifulSoup、lxml等库来解析HTML，提取所需的数据。 6. **遍历和选择元素**： 使用Selenium提供的定位方法（例如`find_element_by_id`、`find_elements_by_css_selector`等）找到需要的数据元素。 7. **处理动态加载内容**： 如果内容是通过JavaScript动态加载的，Selenium需要等待条件满足再继续抓取。可以设置`WebDriverWait`等待特定元素出现或某些事件发生。 8. **网页翻页**： 通常，京东的商品列表会包含分页链接。通过分析这些链接并点击它们，可以实现翻页功能。你可以使用类似这样的循环： ```python while True: next_page_button = driver.find_element_by_css_selector(".next-page") if not next_page_button.is_displayed(): break next_page_button.click() ``` 9. **保存数据**： 抓取到的数据通常存储为CSV、JSON或其他文件格式，或者直接插入数据库。 10. **编写爬虫程序**： 将以上步骤封装成函数或类，并考虑异常处理和错误日志记录。
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值