博客探讨了如何在Scrapy中处理类似requests库的params参数。Scrapy的Request类并未直接提供params参数，但可以通过构建完整URL或者使用中间件在请求实际发送时动态设置参数。对于动态时间参数，建议利用下载中间件，在请求发出前根据当前时间更新URL，以实现灵活的参数配置。
requests的params参数能方便参数设置：
requests.get(url, headers=Header, params=Param)
但是scrapy的Request:
class Request(object_ref):
def __init__(self, url, callback=None, method='GET', headers=None, body=None,
cookies=None, meta=None, encoding='utf-8', priority=0,
dont_filter=False, errback=None, flags=None):
emmmm,看了下似乎没有提供类似的参数设置，我只能直接构造个完整路径的url吗？
例如只能直接url = www.abc.com?now=2018-5-28-20-00-00?
请问我是不是漏了点什么。
还有一个问题希望能请教下，以上面那个url为例，我希望在实际运行时才设置那个now的时间参数，
而不是将这个request塞入scheduler中时就设定好。
是不是使用scheduler->request中间件->download中的中间件就OK了？通过中间件在这个url被实际请求时再配置参数
球指点
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
