Selenium入门（三）如何获取京东的商品列表

最新推荐文章于 2024-06-29 00:24:52 发布

原创

最新推荐文章于 2024-06-29 00:24:52 发布 · 2.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #selenium #爬虫 #京东 #手机

本文介绍使用Selenium入门爬虫，通过Python实现京东商品列表的抓取。内容包括利用XPath语言获取页面链接，加载页面并提取所需信息，讨论了字符串格式化和XPath查询性能优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（最近几天没有更新博客，不是因为偷懒，而是因为每天都在调试代码到很晚，没法更新，不过好消息是基本对Selenium入了门，可以带来不少干货）

延续上篇的话题，仅仅在京东上获得一个产品的价格肯定无法满足胃口，

咱们的目标肯定是将所有商品的所有信息一网打尽，那么如何实现呢，需要两个步骤：

获取所有商品对应的页面链接
根据链接载入页面，并提取需要的信息

这篇文章主要讨论如何实现第一个步骤，例如咱们希望把京东上面所有手机的页面爬下来

首先是登录到京东的手机产品页面，如图，

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

cgchello

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python爬虫实战（2）：爬取京东商品列表

一起学习Python网络爬虫

06-08

8376

在上一篇《python爬虫实战：爬取Drupal论坛帖子列表》，爬取了一个用Drupal做的论坛，是静态页面，抓取比较容易，即使直接解析html源文件都可以抓取到需要的内容。相反，JavaScript实现的动态网页内容，无法从html源代码抓取需要的内容，必须先执行JavaScript。

使用Python和Selenium爬取京东商品数据

最新发布

weixin_49816293的博客

07-16

1860

❤❤码农不是吗喽（大学生版）-优快云博客在本文中，我们将探讨如何使用Python编程语言结合Selenium库来爬取京东网站上的商品数据。Selenium是一个强大的工具，可以模拟真实用户对网页的交互操作，非常适合进行网页自动化测试和数据抓取。

参与评论您还未登录，请先登录后发表或查看评论

selenium登录爬取京东商品信息（python爬虫例子）

04-27

selenium模拟登录京东，输入商品名，自动获取商品信息和链接

Selenium获取商品信息及图片

qq_64001795的博客

10-19

351

/将驱动加载到Java的JVM虚拟机中 System.setProperty("webdriver.chrome.driver","D:\\chromedriver.exe");注：1-3步与上述获取文本信息一致！

selenium+Chrom爬取京东数据

qq_46689983的博客

07-01

278

from selenium import webdriver import time class JdSpider(object): def __init__(self): self.url='https://www.jd.com/' #创建浏览器对象 self.browser=webdriver.Chrome() #计数 self.i=0 #跳转到商品详情页——爬虫书 def get_html(se

Selenium入门（二）如何爬虫爬到京东的价格

播散希望的地方，希望有一天能成为数据分析和coder大牛，哈哈加油

03-31

3470

通过爬虫提取电商平台上的商品价格，应该是爬虫应用的一个热门主题而京东通过Js来生成商品的价格，无法通过静态爬虫，只能通过动态爬虫进行提取这篇文章就是为了演示如何来获取京东平台上的商品价格：获取元素名称：通过chrome随便打开一个商品页面（http://item.jd.com/1068845.html）点击右键，在弹出的列表里点击“审查元素”通过关键字大概搜索到相关的位

selenium爬取京东的手机分类页面下的商品信息

weixin_43735035的博客

09-03

1131

爬取京东手机商品爬取京东的手机商品信息python的入门库功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入爬取京东的手机商品信息利用pycharm爬取京东商城的手机商品的信息（价格，型号，样式，或者内存详细信息） python的

python+selenium动态实战：抓取京东商城信息

08-22

在本教程中，我们将深入探讨如何使用Python编程语言与Selenium库进行动态网页抓取，以获取京东商城的商品信息。Selenium是一个强大的自动化测试工具，同时也常被用于模拟真实用户行为，处理JavaScript渲染的动态内容...

2024年Python爬虫批量采集京东商品数据，实时了解商品价格走势

2401_84562143的博客

05-01

1461

seleniumpip install selenium ，直接输入selenium的话是默认安装最新的，selenium后面加上版本号就是安装对应的的版本；csv内置模块，不需要安装，把数据保存到Excel表格用的；time内置模块，不需要安装，时间模块，主要用于延时等待；流程解析我们访问一个网站，要输入一个网址，所以代码也是这么写的。首先导入模块文件名或者包名不要命名为selenium，会导致无法导入。

selenium+phantomjs爬取京东商品信息

人生苦短，还不用Python？

05-26

416

今天自己实战写了个爬取京东商品信息，和上一篇的思路一样，附上链接：https://www.cnblogs.com/cany/p/10897618.html 打开 https://www.jd.com/ 首先不需要登陆就可搜索，淘宝不一样，所以淘宝我还没试过。开启F12 定位一下搜索框和搜索按钮接下来我们要的是按销量排名，那就要点击这个 onclick事件发现使用click()...

京东秒杀列表

09-10

京东的秒杀物品列表，方便剁手。别人开发的。可以吧把秒杀商品直接列表的显示出来。可以按照价格的优惠程度排序。

京东秒杀列表查询

10-10

京东秒杀列表查询，可查询京东最近时间内的秒杀物品，可排序。

selenium爬取京东数据（Chrome）

qq_39000057的博客

06-29

1920

这里就用xpath提取数据就行，但要注意一点就是京东页面跳转有时候会出现数据加载失败，导致数据无法更新，此时要分别定位最上面和最下面的两个重试按钮并点击。每一页的数据可能会爬得不是很全，会少那么几个。那是因为是网站的问题，会有几个商品的数据一直会加载不出来。标题和评论我用了函数式写法，string(.)是获取该标签写的所有内容，因为有些内容不在同一个标签里。原理就是执行JavaScript模拟鼠标滚动。效果如下（只展示了部分数据）

京东搜索产品时只能获取到每页的前30个产品，scrapy+selenium取到后面30个产品

May女子の博客

10-09

2221

问题描述：京东解析源代码，只能得到30个商品，但是实际一页有60个商品。当我们直接用xpath直接解析源代码时，发现只能得到30个商品，但是在前台，我们明明看到的是60个商品。这是因为刚刷新页面时，先展示源代码的30个商品，后面30个商品，需要下拉进度条，懒加载后面30个商品。 scrapy如何结合selenium实现模拟下拉？解决方法：简单的讲，就是加一个selenium中间件，爬虫...

（python爬虫之）selenium模拟爬京东商品

qq_44782847的博客

05-30

713

首先，这篇代码由于本人不才，仍有几点需要修改。奈何本人已江郎才尽，所以只能把问题留下来待日后解决。代码红色区域即为有需要调整的位置。至于为什么爬京东，因为现在淘宝需要登陆验证。黄色部分是我标注的一些当时理不清的知识。第一块红色：京东加载方式不同于淘宝，所以这里需要用JavaScript来让京东页面下拉，并且要调整下拉速度，保证所有商品信息都可以被加载。但是我只会让页面直接翻到最下...

爬虫爬京东搜索页，gank->ajax

冷夏的专栏

07-01

856

这几天学习了一下爬虫。刚开始感觉学了点东西就上手，去爬京东。结果很显示，就爬了30条数据。怎么也搞不出来后30条，于是乎，直接上selenium，然后让鼠标拉到最底下，还是no。然后我看网上直接用无头浏览器，用试试PhantomJS，结果还是不行，然后各种百度，各种试，最后看了一篇blog，发现把下拉的时间间隔开来，试试，卧槽，我终于征服京东，仅此来纪念我两天的gank 京东。# -*- cod

Selenium介绍--实例爬取京东商品信息与图片

qq_62898618的博客

10-06

5311

Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。适用于自动化测试，js动态爬虫（破解反爬虫）等领域。

[Python] python + selenium 抓取京东商品数据（商品名称，售价，店铺，分类，订单信息，好评率，评论等）