1 使用场景
1.1 网络爬虫
我们在自定义一个函数后,会调用这个函数来完成我们想要的功能。就拿爬虫来举例,你发送请求,服务器给你响应,但是有可能服务器没有给你任何数据,无论是他识别了爬虫、还是服务器繁忙什么原因,这个时候,你的爬虫就会一直等待响应,这个时候就会非常浪费资源,还会造成程序阻塞。
(1)好在requests和scrapy有自定义timeout时间,例如:在requests中这样写:
requests.post(url, headers=headers,
data=data, proxies=proxies,