JiajunBernoulli的博客

python在用requests请求的时候可能会出各种各样的异常，我这个封装能抓住这些异常然后自动重试。其中超时时间应该根据业务的请求时间进行调整，连接用时久的超时时间也适当加长，否则会自动断掉重试。 @retry() # 利用retry装饰函数，使得抛出异常的时候自动重试知道成功。 def my_request(url): requests.adapters.DEFAU...

python用requests爬取的时候，可以用多线程提高速度。这里封装了一个文件，只需修改具体的业务url就可以直接拿去使用。import requestsimport timeimport threading# 使用 threading 模块创建线程import queue#优先级队列模块#线程优先级队列(Queue)from config import *from retr...

文章目录1.启动浏览器传统方式快捷方式2.接管chrome1.启动浏览器传统方式在cmd或者pycharm的terminal启动一个chrome，并指定数据存放的路径chrome.exe --remote-debugging-port=9222 --user-data-dir="E:\MyWork\MyProject\Crawler\chaoxing\AutomationProfile"这里需要确保chrome.exe在环境变量当中快捷方式在自己的项目下新建一个chrome.exe的快捷方式