python爬虫爬取补天公益SRC厂商

00X0 前言

补天漏洞响应平台在七月份开始了新的活动，指定范围为公益SRC。无HACK 不兄弟
现在都八月份了，七月不刷洞八月方便面啊。趁着月初，赶紧把公益SRC的域名全部爬下来

01X0 准备活动

01X1 踩点分析

• 在公益厂商列表中可初步获取厂商的信息，此处发现显示的ID与点击提交漏洞后页面的ID一致。
  
  此处的ID为59906，将鼠标再次悬浮在提交漏洞的链接上
  
  两处的ID均相同。点击提交漏洞
  
  从这里我们可以发现点击提交漏洞需要登录才能获取具体的信息(域名地址)

且经过一些信息收集后，发现厂商页面是由js在线生成的，所以不能直接爬取链接。

01X2 整体思路

先用游客身份爬取公益厂商列表中所有厂商的ID，然后登录补天账户获取对应的Cookies，进而遍历上一步获取的ID值再组合http://butian.360.cn/Loo/submit?cid=id链接获取每个厂商的域名信息

02x0 爬虫编写

02x1 准备环境

Python3.6
模块： requests
      BeautifulSoup
      json

02X2 关键请求

第一处为未登录厂商的一处请求，返回json数据可以遍历所有页数和厂商ID