Request对象在爬虫程序中生成并传递到scrapy engine(引擎),直到它们到达downloader(下载器),后者执行请求并返回一个Response对象,该对象返回到发出请求的爬虫程序。
Request对象
class scrapy.http.Request(url[, callback, method='GET', headers, body, cookies, meta, encoding='utf-8', priority=0, dont_filter=False, errback])
参数:
- url(string) : 请求的网址
- callback(): 将使用此请求的响应(一旦下载)调用的函数作为其第一个参数。
- method(string): 此请求的HTTP方法。默认为’GET’。
- meta(dict) : Request.meta属性的初始值。如果给定,则此参数中传递的dict将被浅拷贝。
- body(str或unicode): 请求体。不管这个参数的类型,存储的最终值将是一个str(不会是unicode或None)。
- headers(dict): 请求头。dict值可以是字符串或列表。如果 None作为值传递,则不会发送HTTP头。
- cookie(dict或list) - 请求cookie
Response对象
class scrapy.http.Response(url[, status=200, headers=None, body=b'', flags=None, request=None])
参数:
- url(string) - 此响应的URL
- status(integer) - 响应的HTTP状态。默认为200。
- headers(di