python爬虫基础知识

python爬虫为什么能实现？

我们平时使用浏览器访问网页获取信息、下载图片视频，主要步骤有三步：
第一步，浏览器向特定服务器发送请求；
第二步，服务器响应请求，将所需数据返回到自己的电脑中；
第三步，浏览器解析返回的数据，以一定的格式呈现数据。

python网络爬虫可以使用不同的函数、库，来实现上述的三个步骤，从而自动、批量获取想要的信息。

向特定服务器发送请求有不同的类型，其中最常用的是GET请求和POST请求，可以使用经典requests库中的get函数和post来实现；
在得到服务器返回的数据response后，可以使用beautifulsoup库来寻找想要的数据（beautifulsoup库简洁明了，使用方便，推荐入门学习使用）（最好学习一下正则表达式和re库，来进行所需信息的匹配查找）；
在获取想要的数据后，可以使用json库或csv库将数据保存为json或csv格式（数据量比较大时最好保存到数据库中，但非分布式爬虫一般没有这个必要）。