京东联盟采集规则

最新推荐文章于 2021-08-06 10:08:04 发布

weixin_33704234

最新推荐文章于 2021-08-06 10:08:04 发布

阅读量782

点赞数

文章标签：数据库爬虫

本文详细介绍了一种从京东网站批量采集商品数据的方法，包括爆款、优惠、专享价及高佣商品的采集策略，以及如何将采集的数据导入数据库并进行重复记录的清理。通过特定的URL参数调整，可以获取不同类别的商品信息，并利用SQL语句优化数据存储。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 精选推荐

爆款共89页，全部采集

https://media.jd.com/gotoadv/theme?type=0&pageIndex=2&pageSize=50&property=soutByInOrderCount&sort=desc&goodsView=&cat1=&cat2=&cat3=

优惠共91页采集到30页订单 645
https://media.jd.com/gotoadv/theme?type=1&pageIndex=[地址参数]&pageSize=50&property=soutByInOrderCount&sort=desc&goodsView=&cat1=&cat2=&cat3=
https://media.jd.com/gotoadv/theme?type=1&pageIndex=&pageSize=50&property=soutByInOrderCount&sort=desc&goodsView=&cat1=&cat2=&cat3=

已失效专享价共 472页采集到10页订单 319

https://media.jd.com/gotoadv/pickupdate?type=1&pageIndex=2&pageSize=50&property=inOrderCount30Days&sort=desc&goodsView=&cat1=&cat2=&cat3=

高佣共11964页采集到100页订单 890
按订单数
https://media.jd.com/gotoadv/pickupdate?type=2&pageIndex=2&pageSize=50&property=inOrderCount30Days&sort=desc&goodsView=&cat1=&cat2=&cat3=
按佣金比例
https://media.jd.com/gotoadv/pickupdate?type=2&pageIndex=2&pageSize=50&property=pcCommissionShare&sort=desc&goodsView=&cat1=&cat2=&cat3=&price=PC

2. 商品推广
自营全部 30天订单量只能翻页到100

https://media.jd.com/gotoadv/goods?pageIndex=101&pageSize=50&property=inOrderCount30Days&sort=desc&goodsView=&adownerType=g&pcRate=&wlRate=&category1=&category=&category3=&condition=1&fromPrice=&toPrice=&keyword=

采集成功后，将txt文件改类型为 sql，然后压缩成zip,
从新浪云独享型数据库中进入 -数据导入—新建导入任务— SQL文件上传文件导入到数据库 fangbei中

删除重复记录
1. 将repeat设置为分类+订单
update yhq_jdunion_goods set `unionid` = concat(cat3, "-", orders)

delete from TableName where id not in (select minid from (select min(id) as minid from TableName group by RepeatFiled) b);
DELETE FROM tablename where id not in (select id from (select min(id) as id from tablename group by key) as b ) ;

在高佣商品中取特定生成相应的素材页面