爬虫的一般步骤

        实现爬虫代码首先需要导入库，requests抓取网页代码，random和time一起使用用于时间超时，BeautifulSoup用于代替正则式取源码标签相应内容，简单说就是对于网页代码进一步进行解析。

        一般来说先用浏览器链接到我们需要爬虫的页面，然后F12检查，或鼠标右键检查，选择Network随便点击一行，查看右边请求头，在代码中进行设置，为了让服务器认为是浏览器而不是爬虫。

        编写地址url和header，使用requests,get对网页源码进行爬取。

 可以看到爬取之后的内容

 

 使用html解析器，对源代码进一步的规范化

        找到我们需要的内容，然后进一步的爬取。