qq_17312239的博客

本文为自己动手，丰衣足食！Python3网络爬虫实战案例的学习笔记，部分图片来源于视频截图。爬虫：请求网站，并提取数据的自动化程序请求网站，并提取数据的自动化程序爬虫基本流程在了解爬虫的定义之后，那么再来看看爬虫是如何工作的吧。第一步：发起请求。一般是通过HTTP库，对目标站点进行请求。等同于自己打开浏览器，输入网址。第二步： 获取响应内容（response）。如果请求的内容存...

爬虫以前听上去好厉害好神秘的样子，用好了可以成就像Google、百度这样的索索引擎，用不好可以凭借不恰当的高并发分分钟崩掉一个小型网站。写到这里想到12306每年扛住的并发请求量，觉得好牛逼。爬虫和反爬虫从一直以来都是一个道高一尺魔高一丈的架势。反爬虫技术增加了爬取的难度，各路crawler的爬取过程可以说是一个和各种网站站长斗智斗勇的过程，各种解决方式可谓层出不穷，但是这里说是“简单”解决方...