root1228544694的博客

爬虫初级面试准备get和post请求正则提取案例scrapy工作流程scrapy优点缺点爬虫选择mongodb存储代理response.text和response.content get和post请求 import requests url = 'https://github.com/USER_NAME' # 构造请求头字典 headers = { # 从浏览器中复制过来的User-Agent 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win6

异步方案 redis 和 Celery异步方案 redis 和 Celery生产者消费者设计模式Celery 介绍和使用介绍安装创建实例并且配置定义任务启动消费者( celery充当 )补充 celery worker 的工作模式 异步方案 redis 和 Celery 生产者消费者设计模式 中间人(broker)搭桥，保证两个业务没有直接关联. 这一解耦方式为：生产者消费者设计模式 执行的流程： 生产者生成消息，缓存到消息队列中，消费者读取消息队列中的消息并执行。 由美多商城生成发送短信消息，缓存到