爬虫实战-爬取兴盛优选首页所有商品数据并写入excel

兴盛优选这个小程序很火，小编今天就教大家如何爬取兴盛优选的所有商品数据信息吧

1.首先获取windowid

这个请求是获取所有的windows的id的 这个请求实际返回windows   brandHouseWindows classifyWindows   这三个其实都返回了windowId 通过观察我们可知 windows里面的是包含所有的 所以我们只需要对他进行遍历即可

https://mall.xsyxsc.com/user/product/indexSortWindows

 

 

2.查看获取商品信息请求  这里其实有三个接口获取商品数据 分别如下【查看下方可知 ，我们一开始获取的windosid是用于这里获取商品数据的】

 

https://mall.xsyxsc.com/user/product/activityProducts

https://mall.xsyxsc.com/user/product/classifyProducts

https://mall.xsyxsc.com/user/brandhouse/window/getProducts

 

相对于前面二个接口 第三个可能会稍微麻烦一点，因为他有pageIndex  pageSize参数 为了避免翻页 小编将pageSize修改成1000，发送请求  于是发现 他们做了控制 好像必须传入10的大小，好吧 不能投机取巧了我们还是老实的写个翻页吧  小编的思路是 直接来个很大的循环 然后当响应数据中 data.records的数据是空的时候 就跳出循环。