前言
本文知乎链接
这段时间想加内存条了,于是想着把京东的内存条数据爬下来,看看行情,光说不做假把式,说干就干(`・д・´) 。
得到的数据
京东搜索笔记本内存条按销量排行,将得到的内存条数据都爬下来,保存到MySQL数据库中,下图是查询结果。由于按销量排行京东会去掉大部分商品信息,所以得到的数据比直接搜索笔记本内存条得到的数据少得多。
导出数据为CSV,在Excel中的视图
爬取过程
下面在京东搜索笔记本内存条并按销量排序的第一页
本来是打算直接根据这个URL来爬数据,结果发现京东一页数据分两次加载,开始显示前30个商品,当滚动条下拉之后然后再异步加载后30个商品,于是这个方法只能作废了。
好在天无绝人之路,当我在翻页的时候发现了一些有趣的东西
下面是第二页前30个商品与某个