- 博客(4)
- 问答 (2)
- 收藏
- 关注
RSS订阅
原创 爬虫超时问题
浏览器可以正常访问，爬虫却不能，加了user-agent,以及请求里的各项参数，同时也换了IP，但是爬虫访问时候就是一直超时，各路大佬有没有解决办法
2019-08-01 17:32:57
711
2
原创 Celery的使用
想要解决程序中得耗时操作（例如：短信等耗时操作，因此想使用Celery）1.首先创建耗时操作 def add(x,y): import time time.sleep(3) return x+y使用 time.sleep 来模拟耗时操作之后我们就开始 来搭建Celery的基本使用方法，创建文件task文件，并且写下下列代码。# 创建任务队列import timefrom celery import Celery#初始化一个celery,其...
2021-03-10 20:55:53
188
1
原创 scrapy超时被拒绝
scrpay-redis在爬取网页的情况下一直出现 ：Connection was refused by other side: 10061: 由于目标计算机积极拒绝，无法连接。.而且已经在报错中间件下设置出错 自动更换ip，还是不解决问题。而且这类错误会累计的越来越多，最好程序只在报错，不在往下进行，求各路大神有没有，类似的问题，或者解决办法...
2019-05-18 10:52:51
1017
2
空空如也
scrapy不可以访问requests却可以
2019-11-27
scrapy超时问题！超时问题！
2019-05-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人