Python爬虫爬取京东内存条数据并作简单分析

本文讲述了使用Python爬虫获取京东内存条销售数据,并进行分析的过程。数据存储于MySQL,分析包括各店铺比例、商品名词云、容量比例及价格区间分布。通过Echarts展示图表,结果显示店铺集中度高,8G和4G内存条最受欢迎,价格区间300-400元内商品最多。

前言

本文知乎链接
这段时间想加内存条了,于是想着把京东的内存条数据爬下来,看看行情,光说不做假把式,说干就干(`・д・´) 。

得到的数据

京东搜索笔记本内存条按销量排行,将得到的内存条数据都爬下来,保存到MySQL数据库中,下图是查询结果。由于按销量排行京东会去掉大部分商品信息,所以得到的数据比直接搜索笔记本内存条得到的数据少得多。
查询结果
导出数据为CSV,在Excel中的视图
Excel视图

爬取过程

下面在京东搜索笔记本内存条并按销量排序的第一页
笔记本内存条
本来是打算直接根据这个URL来爬数据,结果发现京东一页数据分两次加载,开始显示前30个商品,当滚动条下拉之后然后再异步加载后30个商品,于是这个方法只能作废了。

好在天无绝人之路,当我在翻页的时候发现了一些有趣的东西

下面是第二页前30个商品与某个

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值