要说Python最常用的领域,就是网络爬虫了,有些人学Python纯粹就是为了学习爬虫。那么爬虫为什么会如此受欢迎呢?我们今天就来聊一聊Python爬虫。
爬虫这事情其实你几乎每天都干,爬虫分两种:通用爬虫和聚焦爬虫。通用爬虫就是普通的上网,因为某些内容会被限制,所以需要使用聚焦爬虫。
其实每个链接都有一个服务器,上网时我的们的电脑会向服务器发送一些内容,服务器再根据收到的内容这回给我们一些数据。
爬虫需要用到一个模块,urllib或者requests因为urllib使用起来很复杂,所以我们使用requests来进行爬虫。(本段内容可以忽略)
首先,requests不是Python标准库,需要手动安装:
接下来