Python爬虫——实战三：爬取苏宁易购的商品价格(渲染引擎方法)

Vic时代

于 2017-08-17 22:12:16 发布

阅读量9.6k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：编程语言Python 文章标签： python 苏宁爬虫

本文链接：https://blog.youkuaiyun.com/VictoriaW/article/details/77342421

本文介绍如何利用渲染引擎WebKit来抓取苏宁易购的商品价格。由于苏宁易购的价格信息包含在动态内容中，直接访问URL无法获取，因此采用WebKit能够加载完整页面，包括动态内容。通过查看元素，确定价格在HTML标签中的位置，从而实现更通用的爬虫方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

苏宁易购的商品价格请求URL为

https://pas.suning.com/nspcsale_0_000000000152709847_000000000152709847_0000000000_10_010_0100101_20268_1000000_9017_10106_Z001___R0104002_46.5_0_.html?callback=pcData&_=1503023077300

价格在返回的数据中结构为：pcData[0]–>data–>price–>saleInfo–>0–>promotionPrice。

但是上面的URL很难看出是什么结构，并且也不知道需要的信息应该从哪里获得。所以直接访问URL这种方法不具备通用性。

渲染引擎WebKit

抓取苏宁易购的商品价格时，用于上面所说的原因，我们不再采用逆向工程方法。而是采用渲染引擎WebKit方法。渲染引擎在加载页面的时候，除了加载静态页面之外，还会加载所有的动态内容，相当于我们所看到的显示内容都会被加载。

对价格点击右键，选择查元素可以看到价格在如下标签中：

最低0.47元/天解锁文章

200万优质内容无限畅学